在今天举行的2022 GPU Technology Conference大会上,英伟达宣布推出了强大的下一代GPU。
新款GPU基于Nvidia Hopper架构(如图),英伟达承诺该芯片与两年前推出的上一代Ampere芯片相比,性能提升了一个数量级。
第一款基于Hopper架构的GPU是Nvidia H100,一个强大的加速器,包含了800亿个晶体管和多项新功能,其中有Transformer Engine以及可扩展性更高的Nvidia NVLink互连功能,用于提升大型AI语言模型、深度推荐系统等等。
英伟达表示,H100 GPU非常强大,只需20个这样的GPU就可以承载全球所有互联网流量,这也让H100成为那些最先进的AI工作负载的理想选择,例如数据实时推理等。同时,这也是首款支持PCIe Gen5和使用HBM3的GPU,后者意味着H100拥有超过3TB的内存带宽。
重要的是,英伟达H100 GPU更新采用了新的Transformer Engine,可以将基于Transformer的自然语言处理模型速度提高到是上一代A100 GPU的6倍。其他改进还包括第二代安全多实例GPU技术,可将单个H100芯片划分为7个更小的、完全隔离的实例,也就意味着可以同时处理多个工作负载。
H100同时也是第一款拥有机密计算能力的GPU,可在AI模型及其运行时保护它们的数据。此外,H100拥有新的DPX指令,可以实现加速动态编程,一种在很多优化、数据处理和组学算法中常用的技术,英伟达称,其速度是现有最先进的CPU的40倍。因此,H100芯片可以用于加速自主机器人编队使用的Floyd-Warshall算法,或者用于DNA和蛋白质分类序列比对的Smith-Waterman算法。
英伟达表示,H100 GPU旨在为使用大规模AI模型的沉浸式实时应用提供动力,让更高级的聊天机器人能够使用有史以来最为强大的单片变压器语言模型——Megatraon 530B,且吞吐量比A100 GPU高出30倍。英伟达承诺,该芯片还能让研究人员更快速地训练其他大型AI模型。
英伟达表示,除了为AI模型提供动力之外,H100 GPU还将在机器人、医疗、量子计算和数据科学等领域带来重大影响。
H100将于第三季度上市,届时客户将有一系列可用的选项,例如英伟达表示,第四代DGX 系统DGX H100将包含8个H100 GPU,最高可以实现32 petaflops的AI性能。H100芯片也将通过云服务厂商提供,包括AWS、Google Cloud、微软Azure、Oracle Cloud、阿里云、百度AI云和腾讯云,所有这些厂商都计划提供基于H100的实例。
此外,戴尔、HPE、思科、Atos、联想等厂商还将提供一系列采用H100的服务器产品。
除了H100 GPU之外,英伟达还推出了首款基于Arm Neoverse的离散数据中心CPU,专为针对AI基础设施和高性能计算而设计。
这款名为Nvidia Grace CPU Superchip的CPU,包含了2个通过NVLink-C2C(一种新的高速和低延迟芯片到芯片互连技术)连接的CPU,是对英伟达去年推出的首款CPU-GPU整合模块Hopper Superchip的一个补充。Nvidia Grace CPU Superchip将144个Arm核心打包在一个插槽中,支持Arm新一代矢量扩展和英伟达所有计算软件堆栈,包括Nvidia RTX、Nvidia HPC、Nvidia AI和Omniverse。
这些芯片也将于第三季度推出,届时将为那些要求最为苛刻的高性能计算、人工智能、数据分析、科学计算和超大规模计算应用提供所需的性能。
好文章,需要你的鼓励
Hugging Face推出开源工具Yourbench,允许企业创建自定义基准来评估AI模型在其内部数据上的表现。这一工具通过复制大规模多任务语言理解基准的子集,以极低成本实现了对模型性能的精确评估。Yourbench的出现为企业提供了更贴合实际需求的AI模型评估方法,有望改善模型评估的方式。
Cognition AI 推出 Devin 2.0,这是其 AI 驱动的软件开发平台的更新版本。新版本引入了多项功能,旨在提升开发者与自主代理之间的协作效率。最引人注目的是,Devin 2.0 的起价从每月 500 美元大幅下调至 20 美元,使其更易于普及。新功能包括并行 Devin、交互式规划、代码库搜索等,有望提升开发效率并增强用户控制。
安迪·卡拉布蒂斯是一位杰出的CIO,她的职业生涯横跨多个行业和地区,经历了多次变革时刻。她在福特和通用汽车锻炼了领导力和技术专长,后来在戴尔、拜奥根和国家电网等公司担任高管,推动战略创新。本文总结了她对IT领导者核心技能的见解,包括战略沟通、情商、协作、远见卓识、变革管理和敏捷性等,对当今IT领导者具有重要参考价值。
边缘 AI 计算将使人形机器人、智能设备和自动驾驶等应用从数据中心和云端服务器解放出来,转移到制造车间、手术室和城市中心等场景。它能实现低延迟和自主决策,使 AI 无处不在,推动工业设施全面自动化,彻底改变商业和生活方式。边缘 AI 正在快速发展,各大科技公司纷纷推出相关硬件和软件平台,未来将为各行各业带来巨大变革。