现如今,越来越多的数据在边缘生成,这推动着AI基础架构从集中式向分布式AI基础架构转变,AI处理不能仅在集中式公有云中进行,还需要再私有数据中心、边缘中运行。
近日,在COMPUTEX 2022上首批基于NVIDIA Jetson AGX Orin的生产系统正式发布,将被用于边缘AI、AIoT、机器人和嵌入式应用。并且由Jetson AGX Xavier驱动的AAEON BOXER-8240在今年荣获COMPUTEX 2022最佳选择金奖。
AI驱动机器人技术革命 NVIDIA Jetson生态持续壮大
在今年的GTC大会上,NVIDIA正式发布了Jetson AGX Orin开发者套件,其可提供每秒275万亿次运算性能,其处理能力超过前代产品NVIDIA AGX Xavier 8倍。
Jetson Orin具有NVIDIA Ampere架构GPU、Arm Cortex-A78AE CPU、下一代深度学习和视觉加速器、高速接口、更快的内存带宽并支持能够为多个并发AI应用管道提供数据的多模态传感器。
全新Jetson AGX Orin生产模块为边缘AI带来服务器级的性能。该模块将于7月上市,Orin NX模块将于9月上市。
NVIDIA嵌入式和边缘计算副总裁Deepu Talla表示:“全新Jetson AGX Orin正在大幅提升下一代机器人和边缘AI应用的性能。我们的生态系统合作伙伴相继发布基于Jetson Orin的生产系统并为特定的行业和用例定制各种外形尺寸,这将继续推动这款产品加速发展。”
如今,超过100万开发人员和6000多家公司正在NVIDIA Jetson边缘AI和机器人计算平台上构建商业产品,以创建和部署自主机器和边缘AI应用程序。
开发者可以在Jetson AGX Orin开发者套件上构建可无缝部署在生产模块上的下一代应用。Jetson AGX Orin用户可以使用NVIDIA CUDA-X加速计算堆栈、NVIDIA JetPack SDK和最新NVIDIA工具开发和优化应用,包括云原生开发工作流程。
通过Jetson Orin,开发者能够部署强大、复杂的模型解决自然语言理解、3D感知、多传感器融合等领域的边缘AI和机器人挑战。
NVIDIA NGC目录中的预训练模型经过优化,随时可以使用NVIDIA TAO工具套件和客户数据集进行微调。这不仅降低了生产级AI的部署时间和成本,而且还可以凭借云原生技术实现整个产品生命周期内的无缝更新。
为了满足特定用例的需求,NVIDIA软件平台加入了:用于机器人技术的NVIDIA Isaac Sim on Omniverse;用于构建语音AI应用的GPU加速SDK——Riva;用于AI多传感器处理、视频、音频和图像理解的串流分析工具包——DeepStream;以及通过整合视觉数据与AI提高行业运营效率和安全的应用框架、开发者工具组与合作伙伴生态系统——Metropolis。
同时,NVIDIA还推出了Isaac Nova Orin,这是一个用于自主移动机器人(AMR)的最先进的计算和传感器的参考设计——包含了DeepMap、CuOpt和Metropolis等技术,成为业内最全面的端到端机器人平台。
Jetson合作伙伴生态系统不断壮大,目前已拥有150多名成员,包括AI软件、硬件和应用设计服务、摄像头、传感器和外设、开发者工具以及开发系统领域的专业公司,持续赋能机器人行业。
建立未来的AI工厂 NVDIA 3U一体战略加速落地
当前,数据中心正在转型为AI工厂,这就需要从硬件到软件,从芯片到基础设施再到系统,我们必须重构数据中心的各个层面。
在芯片方面,NVDIA推动3U一体,这包括NVIDIA Hopper GPU、NVIDIA Grace CPU和NVIDIA BlueField DPU,通过NVIDIA Quantum和Spectrum一起构成了未来AI工厂的基础设施平台。
其中,Grace CPU超级芯片搭载两块通过NVLink-C2C互连技术连接的CPU芯片,内置多达144个高性能Arm V9核心,并且带有可伸缩矢量扩展和每秒1TB的内存子系统。这一开创性的设计可实现最高的性能,并且内存带宽和能效两倍于当今领先的服务器处理器,可满足要求最为严苛的HPC、数据分析、数字孪生、云游戏和超大规模计算应用。
Grace Hopper超级芯片在一个集成模块中,通过NVLink-C2C将NVIDIA Hopper GPU与Grace CPU互联,可满足HPC和超大规模AI应用的需求。借助NVLink-C2C互连技术,Grace CPU向Hopper GPU的数据传输速度比传统CPU提升15倍。
在COMPUTEX 2022上,首批基于 NVIDIA Grace CPU超级芯片和Grace Hopper超级芯片的系统亮相,其与x86和其他基于Arm的服务器一同为客户提供广泛的选择空间,助力其数据中心实现高性能和高效率。
预计从2023年上半年开始,华硕、富士康工业互联网、技嘉科技、云达科技、超微和纬颖将陆续推出几十款服务器。
Grace CPU超级芯片和Grace Hopper超级芯片服务器设计组合包括单路、双路和四路配置的单底板系统,服务器制造商可根据客户需求,为这些系统自定义四种专用于特定工作负载的设计:
NVIDIA正在扩展NVIDIA认证系统计划,以涵盖采用NVIDIA Grace CPU超级芯片和Grace Hopper超级芯片的服务器以及x86 CPU。
Grace服务器产品组合针对NVIDIA丰富的计算软件堆栈进行了优化,包括NVIDIA HPC、NVIDIA AI、Omniverse和NVIDIA RTX。
液冷GPU打造高性能绿色数据中心
如今,数据中心的绿色化与低碳化成为趋势。NVIDIA发布了率先采用直接芯片(Direct-to-Chip)冷却技术的数据中心PCIe GPU。
液冷技术诞生于大型机时代,在AI时代日臻成熟。如今,液冷技术已经以直接芯片(Direct-to-Chip)冷却的形式广泛应用于全球高速超级计算机。
NVIDIA GPU在AI推理和高性能计算方面的能效已比CPU高出20倍, 而加速计算也顺理成章地将采用液冷技术。
目前,Equinix正在验证A100 80GB PCIe液冷GPU在其数据中心的应用,这也是该公司为实现可持续性冷却和热量捕获的综合性方案中的一部分。GPU现已进入试用阶段,预计将于今年夏季正式发布。
在单独的测试中,Equinix和 NVIDIA均发现:采用液冷技术的数据中心工作负载可与风冷设施持平,同时消耗的能源减少了约 30%。NVIDIA估计,液冷数据中心的PUE可能达到1.15,远低于风冷的PUE 1.6。
在空间相同的条件下,液冷数据中心可以实现双倍的计算量。这是由于A100 GPU仅使用一个PCIe插槽,而风冷A100 GPU需使用两个PCIe插槽。
事实上,NVIDIA计划于明年推出的一版A100 PCIe卡中搭载基于NVIDIA Hopper架构的H100 Tensor Core GPU。近期内,NVIDIA计划将液冷技术应用于自有高性能数据中心GPU和NVIDIA HGX平台。
至少有十几家系统制造商计划于今年晚些时候在其产品中使用液冷GPU,包括华硕(ASUS)、新华三(H3C)、浪潮(Inspur)、宁畅(Nettrix)、云达科技(QCT)、 超微(Supermicro)等。
结语
从这次NVIDIA展示的产品组合看,其不断引领AI基础设施的潮流。不管是聚焦边缘AI的Jetson家族,还是3U一体的芯片组合,以及液冷GPU,无一不在革新当下的数字化基础设施,为不断涌现的应用提供动力。
除了机器人和AI,NVIDIA在游戏和内容创作方面也持续创新,比如现在已有超过250款游戏和应用支持RTX,是COMPUTEX 2021的两倍。现在,已有180多款游戏和应用集成DLSS,38款游戏、22款显示器和45款鼠标支持NVIDIA Reflex。每月有超过2000万玩家开启Reflex畅玩游戏,Reflex已经成为NVIDIA最成功的技术之一。GeForce RTX笔记本、NVIDIA Studio、NVIDIA Omniverse等实现虚拟世界和3D内容的创作。
从数据中心到机器人、边缘计算、游戏和内容创作,NVIDIA技术得到体现,引领潮流。
好文章,需要你的鼓励
临近年底,苹果公布了2024年App Store热门应用和游戏榜单,Temu再次成为美国下载量最多的免费应用。
云基础设施市场现在已经非常庞大,很难再有大的变化。但是,因为人们可以轻松地关闭服务器、存储和网络——就像开启它们那样,预测全球云基础设施开支可能非常困难。