Nvidia发布了号称全球最小、最强大的AI超级计算机Jetson Xavier NX,主要面向机器人和嵌入式设备,从而能希望在网络边缘运行人工智能方面发挥更大的作用。
说是“超级计算机”可能有点过,但是Jetson Xavier NX的确非常强大并且非常节能,性能水平可与大多数标准数据中心服务器媲美。在运行现代AI工作负载时,Jetson Xavier NX可以达到21 TOPS(Theoretical Operations Per Second,一种性能的标准度量),并且功耗低至15瓦。
而且Jetson Xavier NX可以安装在比信用卡还小的微型机箱中,也就是说,它几乎可以安装在任何位置的任何类型设备中。
Nvidia表示,Jetson Xavier NX非常适合边缘计算设备例如小型商用机器人和无人机、制造操作中使用的智能高分辨率传感器以及便携式医疗设备等,这些类型的设备往往需要很高的计算性能才能在现场处理数据,但是由于尺寸、重量和功率的限制,以前这项技术是根本无法使用的。
但是Jetson Xavier NX的出现改变了这个情况,因为它足够强大,可以并行运行多个神经网络,同时实时处理来自多个来源的数据。
市场研究公司Wikibon的分析师James Kobielus表示,Jetson Xavier NX融合了小尺寸、低功耗、高性能和灵活等特点,这对于该技术的普及至关重要。
Kobielus表示:“这些商业性的需求对于移动、嵌入式、机器人和物联网设备中的边缘计算尤为重要。而且生态系统是否准备就绪也很重要,Jetson Xavier NX与现有的Jetson Nano硬件平台是兼容的,支持嵌入所有主流AI框架包括TensorFlow、PyTorch、MxNet、Caffe的机器学习模型。”
Jetson Xavier NX运行在Nvidia的CUDA-X AITM架构上,支持Nvidia的JetPack软件开发套件,该套件中包括用于深度学习、计算机视觉、计算机图形和其他基于AI的工作负载的加速库。
Moor Insights&Strategy总裁兼首席分析师Patrick Moorhead表示:“几乎每天都会有一款AI芯片问世,我相信在这个大背景下,Nvidia Jetson Xavier NX的发布提高了业界标准,表明小尺寸、低功耗、性能卓越以及一致且强大的软件架构对于嵌入式边缘计算至关重要。Jetson Xavier NX是用于那些需要很多传感器的设备,甚至是靠电池供电、性能最高的无人机。Jetson Xavier NX带来的最大的好处就是利用成熟的工具链大规模地实现机器学习推理的性能。”
Nvidia表示,Jetson Xavier NX模块将于2020年3月上市,价格为399美元。
除了发布Jetson Xavier NX之外,Nvidia还公布了一组新的基准测试结果,结果表明Jetson Xavier NX在测试数据中心和网络边缘的AI推理工作负载性能相关所有五个基准中均名列前茅。
MLPerf Inference 0.5基准测试了Nvidia面向数据中心的Turing GPU,以及Xavier NX模块在各种传统AI工作案例(包括图像分类、对象检测和翻译)中的表现。
Nvidia的硬件在数据中心场景和边缘用例所有五个基准测试中均名列前茅,性能要高于英特尔、谷歌和高通等竞争对手的同类芯片。
Kobielus认为这一结果令人印象深刻,因为MLPerf已经成为针对AI训练、从云到边缘的推理的事实基准。
Kobielus表示:“Nvidia最近在各种MLPerf推理基准中取得突出的成绩绝非易事,在MLPerf训练基准中取得同样出色的结果,也是在意料中的。Nvidia整个硬件和软件堆栈经过忠实客户的使用和证明,可以在所有部署模式下所有深度学习和机器学习工作负载中实现最高的性能水平。”
好文章,需要你的鼓励
IBM Spyre加速器将于本月晚些时候正式推出,为z17大型机、LinuxONE 5和Power11系统等企业级硬件的AI能力提供显著提升。该加速器基于定制芯片的PCIe卡,配备32个独立加速器核心,专为处理AI工作负载需求而设计。系统最多可配置48张Spyre卡,支持多模型AI处理,包括生成式AI和大语言模型,主要应用于金融交易欺诈检测等关键业务场景。
加拿大女王大学研究团队首次对开源AI生态系统进行端到端许可证合规审计,发现35.5%的AI模型在集成到应用时存在许可证违规。他们开发的LicenseRec系统能自动检测冲突并修复86.4%的违规问题,揭示了AI供应链中系统性的"许可证漂移"现象及其法律风险。
意大利初创公司Ganiga开发了AI驱动的智能垃圾分拣机器人Hoooly,能自动识别并分类垃圾和可回收物。该公司产品包括机器人垃圾桶、智能盖子和废物追踪软件,旨在解决全球塑料回收率不足10%的问题。2024年公司收入50万美元,已向谷歌和多个机场销售超120台设备,计划融资300万美元并拓展美国市场。
这项由剑桥大学、清华大学和伊利诺伊大学合作的研究首次将扩散大语言模型引入语音识别领域,开发出Whisper-LLaDA系统。该系统具备双向理解能力,能够同时考虑语音的前后文信息,在LibriSpeech数据集上实现了12.3%的错误率相对改进,同时在大多数配置下提供了更快的推理速度,为语音识别技术开辟了新的发展方向。