Nvidia发布了号称全球最小、最强大的AI超级计算机Jetson Xavier NX,主要面向机器人和嵌入式设备,从而能希望在网络边缘运行人工智能方面发挥更大的作用。
说是“超级计算机”可能有点过,但是Jetson Xavier NX的确非常强大并且非常节能,性能水平可与大多数标准数据中心服务器媲美。在运行现代AI工作负载时,Jetson Xavier NX可以达到21 TOPS(Theoretical Operations Per Second,一种性能的标准度量),并且功耗低至15瓦。
而且Jetson Xavier NX可以安装在比信用卡还小的微型机箱中,也就是说,它几乎可以安装在任何位置的任何类型设备中。
Nvidia表示,Jetson Xavier NX非常适合边缘计算设备例如小型商用机器人和无人机、制造操作中使用的智能高分辨率传感器以及便携式医疗设备等,这些类型的设备往往需要很高的计算性能才能在现场处理数据,但是由于尺寸、重量和功率的限制,以前这项技术是根本无法使用的。
但是Jetson Xavier NX的出现改变了这个情况,因为它足够强大,可以并行运行多个神经网络,同时实时处理来自多个来源的数据。
市场研究公司Wikibon的分析师James Kobielus表示,Jetson Xavier NX融合了小尺寸、低功耗、高性能和灵活等特点,这对于该技术的普及至关重要。
Kobielus表示:“这些商业性的需求对于移动、嵌入式、机器人和物联网设备中的边缘计算尤为重要。而且生态系统是否准备就绪也很重要,Jetson Xavier NX与现有的Jetson Nano硬件平台是兼容的,支持嵌入所有主流AI框架包括TensorFlow、PyTorch、MxNet、Caffe的机器学习模型。”
Jetson Xavier NX运行在Nvidia的CUDA-X AITM架构上,支持Nvidia的JetPack软件开发套件,该套件中包括用于深度学习、计算机视觉、计算机图形和其他基于AI的工作负载的加速库。
Moor Insights&Strategy总裁兼首席分析师Patrick Moorhead表示:“几乎每天都会有一款AI芯片问世,我相信在这个大背景下,Nvidia Jetson Xavier NX的发布提高了业界标准,表明小尺寸、低功耗、性能卓越以及一致且强大的软件架构对于嵌入式边缘计算至关重要。Jetson Xavier NX是用于那些需要很多传感器的设备,甚至是靠电池供电、性能最高的无人机。Jetson Xavier NX带来的最大的好处就是利用成熟的工具链大规模地实现机器学习推理的性能。”
Nvidia表示,Jetson Xavier NX模块将于2020年3月上市,价格为399美元。
除了发布Jetson Xavier NX之外,Nvidia还公布了一组新的基准测试结果,结果表明Jetson Xavier NX在测试数据中心和网络边缘的AI推理工作负载性能相关所有五个基准中均名列前茅。
MLPerf Inference 0.5基准测试了Nvidia面向数据中心的Turing GPU,以及Xavier NX模块在各种传统AI工作案例(包括图像分类、对象检测和翻译)中的表现。
Nvidia的硬件在数据中心场景和边缘用例所有五个基准测试中均名列前茅,性能要高于英特尔、谷歌和高通等竞争对手的同类芯片。
Kobielus认为这一结果令人印象深刻,因为MLPerf已经成为针对AI训练、从云到边缘的推理的事实基准。
Kobielus表示:“Nvidia最近在各种MLPerf推理基准中取得突出的成绩绝非易事,在MLPerf训练基准中取得同样出色的结果,也是在意料中的。Nvidia整个硬件和软件堆栈经过忠实客户的使用和证明,可以在所有部署模式下所有深度学习和机器学习工作负载中实现最高的性能水平。”
好文章,需要你的鼓励
尽管市场上频繁出现所谓的自主代理 AI,但目前尚无统一定义,多数产品不过是 LLM 的简单包装,这让 CIO 在采购时面临风险与困惑。
最新研究发现,AI生成的代码常错误引用虚构依赖库,为供应链攻击提供契机,可能导致数据泄露、植入后门等恶意行为,严重威胁系统安全。
本文讨论了 IT 自动化过程中容易忽视的流程问题、数据质量、整合难题、成本误区以及 AI 融入后带来的监管与创新挑战。
构建云边端协同的多元化算力体系已成为企业实现大模型规模化落地的关键路径,Arm正助力从云到端的大模型部署与高效运行,满足企业对更高性能、更高能效以及更强本地处理能力的迫切需求。