浪潮发布基于KNL的并行开源深度学习框架CAFFE-MPI

德国当地时间6月20日,与英特尔宣布第二代至强Phi芯片“KnightsLanding”(以下称KNL)正式上市同步,浪潮在刚刚举行的第31届国际超算大会(ISC2016)上,全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI,这标志着浪潮称为全球第一个在英特尔最新的KNL平台上完成Ca

【安防在线 www.anfang.cn】德国当地时间6月20日,与英特尔宣布第二代至强Phi芯片“Knights Landing”(以下称KNL)正式上市同步,浪潮在刚刚举行的第31届国际超算大会(ISC2016)上,全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI,这标志着浪潮称为全球第一个在英特尔最新的KNL平台上完成Caffe并行开发的公司。

1

浪潮集团副总裁胡雷钧表示,此次KNL平台Caffe-MPI的发布,一方面显示出浪潮与英特尔紧密的合作关系,另一方面也将为全球深度学习用户带来新的协处理加速解决方案,让他们可以选择最贴合自身实际应用的异构加速技术。目前,浪潮推动的开源Caffe-MPI已受到中国、印度、美国等众多公司和研究机构的关注。

浪潮Caffe-MPI是全球首款高性能MPI集群版的Caffe深度学习计算框架,其采用成熟的MPI技术对Caffe予以数据并行的优化,其目标是解决深度学习计算模型训练的效率问题。Caffe是目前最快的深度卷积神经网络(DeepConvolutional Neural Networks,CNN)架构,它最早由UC伯克利实验室完成单机单卡的开发,针对CNN训练所设计。然而随着训练模型越来越复杂、训练数据越发庞大,单机单卡已经不能满足用户的实际需求。

浪潮发布基于KNL的并行开源深度学习框架CAFFE-MPI

为此,浪潮在伯克利caffe架构的基础上,针对HPC系统架构技术设计,率先完成了多机多卡的并行化开发,并完全保留了原始caffe架构的特性。浪潮Caffe-MPI硬件系统采用Lustre存储+IB网络+HPC集群,基于Lustre并行存储采用多进程+多线程机制并行读取训练数据,实现较高的IO吞吐;采用IB网络实现高速互联网,实现参数的快速传输和模型更新;采用数据并行机制,利用HPC集群实现大规模训练。同时,浪潮Caffe-MPI可以采用多机多卡同时训练,并可以部署到大规模训练平台上,实现对大规模数据样本的训练。

2

新一代Xeon Phi处理器Knights Landing既可以做协处理器,也可以单独做中央主处理器,处理器核心数量超过72个,并支持四线程,最多拥有288个线程,双精度浮点性能超过3TFlops,单精度则超过6TFlops,被业界视为在高性能计算和深度学习领域革命性的产品。随着此次浪潮率先发布基于KNL平台的Caffe-MPI,相信会有更多的用户感受到新技术在深度学习效率上带来的诸多提升。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 拓宽行业应用场景 多模态大模型加速通用AI进程

    业内分析表示,此次Sora的发布,将促使多模态大模型成为生成式AI的重点发展方向。未来人机交互将通过文字、视觉、语音等多维度沟通,进而提升效率,逐渐向AGI方向迈进。

    2024年3月9日
  • 美国安全技术领域最新进展情况

    《2016~2019年进展报告:推进人工智能研发》对应以上研发方向,对美联邦政府各机构2016~2019年的研发进展进行了详细梳理。在每个研发方向下,报告均从科学与工程领域、国防领域、经济领域、医学/卫生领域、司法与安全领域,共五个领域广泛扫描了联邦各机构的人工智能研发项目和活动情况。

    2024年4月24日
  • 《江西省平安建设条例》

    为了建设更高水平的平安江西,提高社会治理能力,维护社会长治久安,推进经济社会高质量发展,根据有关法律、行政法规,结合本省实际,制定本条例。

    2024年2月21日
  • 苏州世乒赛安全保卫工作总指挥部将运行

    世乒赛期间,苏州市警方将以世乒赛开闭幕式、比赛场馆、住地、重大活动、交通线路、消防安全为重点,严格各项安保工作措施,确保绝对安全。

    2024年2月2日
  • 智能科技开启安防新时代 上海国际公共安全博览会开幕

    最新型的无人机干扰器,可以通过干扰无人机的控制链路和导航链路,达到驱离无人机或迫使其降落的目的,保障低空空域安全。

    2024年1月31日
  • 金邦达独家中标广深高速IC卡项目

    4月1日,广深珠高速公路公司公布了日前为广深路段非接触式IC卡采购项目的招标结果,金邦达从多家竞标公司中脱颖而出,独家中标。

    2024年2月7日