英伟达高管:首次实现实时会话式AI,GPU优势是全可编程

NVIDIA加速计算产品管理总监Paresh Kharya、NVIDIA企业边缘计算总经理Justin Boitano、NVIDIA TensorRT产品市场负责人Siddarth Sharma接受智东西等媒体的采访,就NVIDIA深度学习产品进行更具体的解读。

【安防在线 www.anfang.cn】

英伟达高管:首次实现实时会话式AI,GPU优势是全可编程

12月18日上午NVIDIA创始人兼CEO黄仁勋在GTC China大会的主题演讲中,公布在会话式AI和推荐系统方面的重要进展。(黄仁勋推新自动驾驶芯片!性能飙7倍,牵手BAT滴滴大秀中国朋友圈)
  下午,NVIDIA加速计算产品管理总监Paresh Kharya、NVIDIA企业边缘计算总经理Justin Boitano、NVIDIA TensorRT产品市场负责人Siddarth Sharma接受智东西等媒体的采访,就NVIDIA深度学习产品进行更具体的解读。
  Paresh Kharya表示,最终客户最在乎能否用各种计算平台来帮助他们降低成本、处理各种工作负载,同时不仅可以在今天利用这些硬件处理这些工作负载,并且在未来也能够持续。要实现这一点,软件定义平台非常重要。
  一、进军会话式AI,数月覆盖完成流程
  今天,NVIDIA推出第七代推理优化软件TensorRT 7。Paresh Kharya说,这是NVIDIA第一次真正实现实时会话式AI,并且可以准确的处理中间复杂的流程。
  会话式AI是非常难的领域,要想把会话式AI做得比较有用,要符合两个条件。首先是要在300毫秒内将整个三个部分完成,其次是要完成的非常智能。
  在这个过程当中,有非常多复杂的模型需要计算。会话式AI全流程有三个部分:语音识别、语义理解和转译、语音合成与输出。
  据悉,NVIDIA做会话式AI已有数月时间,第一个版本只涵盖了会话式AI当中的语义理解部分。
  在不断更新版本后,如今NVIDIA TensorRT 7基本上可以完成整个流程的计算。
  二、GPU的优势:全可编程且软件定义
  在Paresh Kharya看来,FPGA从设计时就是为模拟而用的,但是如果一个东西专为模拟而生,那么在真正实际应用过程中,它的表现反而可能没有那么好。
  做好一个FPGA,整个编程的时间就要几个月,然后还要做在硬件层面对它进行编程。而AI演进速度飞快,甚至以分钟计,因此必须在软件端实现高度灵活的可编程。
  Paresh Kharya表示,GPU是AI领域的专用芯片,其指令集是全可编程且软件定义的,非常具有优势。
  另外,GPU架构向前兼容,硬件更迭随着软件不断更新适应,且软件库内就能进行直接更新。无论是台式机、笔记本、服务器,还是很大型的外设,在数据中心、边缘或者是物联网上,均可使用NVIDIA的平台。
  有些公司通过去掉GPU的图形处理部分来提升AI算力和减少成本,对此Paresh Kharya表示,NVIDIA在图象处理方面本身基础就比较好,比如说其RT Core能够加速图象处理,Tensor Core做AI加速计算。
  NVIDIA提供各种产品来满足客户不同需求,应用于数据中心的GPU没有图像处理部分,但有Tensor Core来做AI加速计算,还有RTX6000、RTX8000等新品兼具图像加速和AI加速功能。
  Paresh Kharya认为,NVIDIA的较大优势在于可用于各种工作负载中来实现加速计算的统一架构。NVIDIA在游戏、图形、高性能计算、AI各业务板块均有很好的营收,NVIDIA可以进一步投入到我们的统一架构平台的研发当中。
  在做好硬件架构的基础上,NVIDIA开发相应软件来利用硬件平台,一方面带来更大的性能提升,另一方面也降低了开发门槛。
  NVIDIA与开发者保持紧密沟通与合作,以保证TensorFlow等主流开源框架与NVIDIA硬件紧密兼容,同时NVIDIA在各种软件功能和库上做沟通,使一些外部开发者可以充分利用这些东西。
  以TensorFlow为例,NVIDIA尽可能将更多软件库整合到TensorFlow中,使得开发者无需关心底层,直接利用NVIDIA提供的库或新功能去开发他们想要的东西,并且可在任何NVIDIA硬件平台上使用。
  三、NVIDIA为何兼容Arm做加速计算?
  近期NVIDIA宣布CUDA将兼容Arm HPC,对此Paresh Kharya表示,NVIDIA希望在进入的所有加速计算领域能给客户更多选择。
  Arm架构在全球范围内被广泛应用,基于Arm架构的设备约1500亿台,可提供互联、内存、CPU内核、计算能力等多元化支持。
  在Paresh Kharya看来,Arm架构之所以如此成功,是因为它是一个开放平台,各类公司均可在Arm架构上进行想要的创新。
  Justin Boitano补充说,NVIDIA有Arm架构许可,在边缘计算领域的汽车平台等多个硬件均基于Arm架构。Arm具有低功耗、应用灵活的特点,能满足很多客户对边缘计算的需求。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 中星微技术星光智能三号芯片荣获2022全球数字经济大会产业创新成果奖

    星光智能三号芯片采用国产自主技术,是一款具有低功耗、超高清、NPU、加密等独特优势的新一代高算力双模SVAC+H.265芯片,包含多个亿级晶体管的处理内核,在"多模融合"智能计算架构和"多核异构"处理器上微架构创新的基础上,为人工智能边缘计算开辟了一条新思路。

    2026年1月2日
  • “刹不住”的芯片扩产潮 部分芯片价格“雪崩”

    近几年,我国企业对芯片产业的投入逐年加大。数据显示,截至目前,我国芯片相关企业达41.6万余家;其中,2022年1-7月新增注册企业6.8万家,新增注册企业月平均增速达41.6%;从成立时间来看,26.8%的芯片相关企业成立于1年内。

    2026年1月2日
  • 智能锁内置电池即将淘汰?智能锁新时代即将出现

    智能家居安全不断进步,给了我们许多惊喜,但创新也会带来新的担忧。长期以来,由于智能锁电池没电而被锁在家里的恐惧一直是一件大事,但如今将成为过去式。

    2026年1月1日
  • 2022年5大网络管理发展趋势

    近年来,网络管理的发展趋势也在发生一些变化。企业网络在以往通常采用局域网技术,它使企业内部员工相互保持联系。随着互联网时代的到来,需要与外部世界建立更紧密的联系。Wi-Fi随后占据了上风。企业现在需要提供强大的无线局域网,并帮助远程工作的员工建立与网络的良好连接。边缘网络现在就在人们身边。

    2026年1月1日
  • 开启多维感知新征程睿创微纳发布自研短波红外探测器芯片、机芯及整机

    睿创微纳依托公司在非制冷红外焦平面芯片、器件、模组及整机领域的核心技术和业内领先的量产平台,积极布局III-V族化合物半导体技术平台,支撑光子型探测器与半导体激光器研发与产业化。目前已经完成InGaAs短波红外芯片、短波红外机芯和多光谱云台产品的研发与试产验证。

    2026年1月1日
  • “智路OS”发布 聚焦开源开放 打造智能网联生态创新高地

    8月1日,全球首个开源开放的智能网联路侧单元操作系统“智路OS”正式发布,聚焦开源开放,自主可控,将面向高级别自动驾驶和智慧交通的路侧OS核心技术彻底开源,打造开源开放新底座,构建自主可控新高地,促进智能网联产业应用的多样化和规模化发展。

    2026年1月1日