Nvidia发布了号称全球最小、最强大的AI超级计算机Jetson Xavier NX,主要面向机器人和嵌入式设备,从而能希望在网络边缘运行人工智能方面发挥更大的作用。
说是“超级计算机”可能有点过,但是Jetson Xavier NX的确非常强大并且非常节能,性能水平可与大多数标准数据中心服务器媲美。在运行现代AI工作负载时,Jetson Xavier NX可以达到21 TOPS(Theoretical Operations Per Second,一种性能的标准度量),并且功耗低至15瓦。
而且Jetson Xavier NX可以安装在比信用卡还小的微型机箱中,也就是说,它几乎可以安装在任何位置的任何类型设备中。
Nvidia表示,Jetson Xavier NX非常适合边缘计算设备例如小型商用机器人和无人机、制造操作中使用的智能高分辨率传感器以及便携式医疗设备等,这些类型的设备往往需要很高的计算性能才能在现场处理数据,但是由于尺寸、重量和功率的限制,以前这项技术是根本无法使用的。
但是Jetson Xavier NX的出现改变了这个情况,因为它足够强大,可以并行运行多个神经网络,同时实时处理来自多个来源的数据。
市场研究公司Wikibon的分析师James Kobielus表示,Jetson Xavier NX融合了小尺寸、低功耗、高性能和灵活等特点,这对于该技术的普及至关重要。
Kobielus表示:“这些商业性的需求对于移动、嵌入式、机器人和物联网设备中的边缘计算尤为重要。而且生态系统是否准备就绪也很重要,Jetson Xavier NX与现有的Jetson Nano硬件平台是兼容的,支持嵌入所有主流AI框架包括TensorFlow、PyTorch、MxNet、Caffe的机器学习模型。”
Jetson Xavier NX运行在Nvidia的CUDA-X AITM架构上,支持Nvidia的JetPack软件开发套件,该套件中包括用于深度学习、计算机视觉、计算机图形和其他基于AI的工作负载的加速库。
Moor Insights&Strategy总裁兼首席分析师Patrick Moorhead表示:“几乎每天都会有一款AI芯片问世,我相信在这个大背景下,Nvidia Jetson Xavier NX的发布提高了业界标准,表明小尺寸、低功耗、性能卓越以及一致且强大的软件架构对于嵌入式边缘计算至关重要。Jetson Xavier NX是用于那些需要很多传感器的设备,甚至是靠电池供电、性能最高的无人机。Jetson Xavier NX带来的最大的好处就是利用成熟的工具链大规模地实现机器学习推理的性能。”
Nvidia表示,Jetson Xavier NX模块将于2020年3月上市,价格为399美元。
除了发布Jetson Xavier NX之外,Nvidia还公布了一组新的基准测试结果,结果表明Jetson Xavier NX在测试数据中心和网络边缘的AI推理工作负载性能相关所有五个基准中均名列前茅。
MLPerf Inference 0.5基准测试了Nvidia面向数据中心的Turing GPU,以及Xavier NX模块在各种传统AI工作案例(包括图像分类、对象检测和翻译)中的表现。
Nvidia的硬件在数据中心场景和边缘用例所有五个基准测试中均名列前茅,性能要高于英特尔、谷歌和高通等竞争对手的同类芯片。
Kobielus认为这一结果令人印象深刻,因为MLPerf已经成为针对AI训练、从云到边缘的推理的事实基准。
Kobielus表示:“Nvidia最近在各种MLPerf推理基准中取得突出的成绩绝非易事,在MLPerf训练基准中取得同样出色的结果,也是在意料中的。Nvidia整个硬件和软件堆栈经过忠实客户的使用和证明,可以在所有部署模式下所有深度学习和机器学习工作负载中实现最高的性能水平。”
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
这项研究由香港理工大学和新加坡国立大学的团队共同完成,提出了R?ec,首个将推理能力内置于大型推荐模型的统一框架。与传统方法不同,R?ec在单一自回归过程中实现了推理生成和物品预测的无缝整合。研究者还设计了RecPO优化框架,无需人工标注即可同时提升模型的推理和推荐能力。实验结果显示,R?ec在三个数据集上显著超越现有方法,在Hit@5和NDCG@20指标上分别提升68.67%和45.21%。这一突破为下一代智能推荐系统开辟了新方向。
这项研究提出了CURE框架,通过强化学习让大语言模型同时学习编写代码和生成单元测试两种能力,无需使用标准代码作为监督。团队开发的ReasonFlux-Coder模型在仅用4.5K编程问题训练后,便在多个基准测试中超越了同类模型,代码生成准确率提高5.3%,最佳N选1准确率提高9.0%。该方法不仅提升了模型性能,还提高了推理效率,同时为降低API调用成本和无标签强化学习提供了新思路。