至顶网服务器频道 08月27日 新闻消息(文/李祥敬): 在前不久举行的WRC 2018世界机器人大会上,NVIDIA展出了专为机器人设计的芯片Jetson Xavier。同时,NVIDIA高级软件经理李铭博士也向媒体详细介绍了这款芯片的特点,阐述了Jetson Xavier如何推动机器人软硬件技术的发展。
NVIDIA Jetson Xavier于今年6月初在2018年台北国际电脑展(COMPUTEX 2018)上首发,NVIDIA将其描述为一台适用于自主机器人的AI计算机。NVIDIA创始人兼首席执行官黄仁勋在发布这款芯片的时候说,这就是未来智能机器人的大脑。在NVIDIA看来,机器人终归是要拥有超强的边缘计算能力,而Jetson Xavier正是为了下一代自主机器打造的AI计算芯片。
李铭表示,当前人工智能已经发展到了一个转折点,而GPU芯片可凭借其可变性和超强的计算力以及CUDA平台为AI的发展提供了强有力的支持。现在NVIDIA将GPU带到了机器人领域,将Jetson Xavier打造成未来智能机器人的大脑。
据介绍,Jetson Xavier是NVIDIA单独做过的最长的一个处理器项目,为了打造它,NVIDIA耗费了五年的时间(三年设计、两年筑造),共有超过8000人参与了设计与开发,也是NVIDIA首款专门为机器人设计的产品。
Jetson Xavier拥有6种高性能处理器,包括1个Volta Tensor Core GPU、1个8核ARM64 CPU、2个NVDLA深度学习加速器、1个图像处理器、1个视觉处理器和1个视频处理器。这些处理器使其能够同时、且实时地处理数十种算法,以用于传感器处理、测距、定位和绘图、视觉和感知以及路径规划。
这样的配置让其能够在30W以下的嵌入式模块中提供相当于一台GPU工作站的性能。Jetson Xavier拥有超过90亿个晶体管,可提供每秒30万亿次操作的深度学习和计算机视觉任务。相较于上一代产品Jetson TX2,Jetson Xavier的能效提升了10倍之多,性能优化了20倍之多。
李铭告诉记者,Jetson Xavier专攻自主机器,像机器人手臂、自动化设备与服务型机器人、无人机等,可广泛应用于工业生产线、仓储、物流、零售与农业等多种场景。同时,Jetson Xavier也适用于智慧城市应用程序和便携式医疗设备。
NVIDIA为Jetson Xavier的模拟、训练、验证和部署提供了一个工具箱——NVIDIA Isaac机器人软件平台,包括包含API工具包Isaac SDK、智能机器加速应用Isaac IMX以及高度逼真的虚拟仿真环境Isaac Sim。
李铭特别指出,Isaac SIM可以在虚拟世界中对机器人进行训练,而不用担心对现实物理世界造成破坏性的影响,比如在训练消防机器人或者其他复杂性环境的工作机器人。NVIDIA希望为机器人产业打造一个端到端的解决方案。
黄仁勋也为我们描述了未来智能机器人产业的美好前景,他说,AI是我们这一时代最强大的技术力量。第一阶段人工智能将实现全新的软件自动化水平,从而帮助诸多行业提高生产力;其后,人工智能与传感器和执行器相结合,将成为新一代自主机器的核心。终有一天,数十亿台智能机器人将用于制造、送货上门服务、仓储物流等领域。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。