Nvidia首席执行官黄仁勋近日宣布推出了Jetson Xavier,一款针对机器人和无人机开发的新型人工智能芯片。
这款在台湾举行的Computex大会上首次亮相,据称单个Jetson Xavier提供的计算能力与“10000美元的工作站”相当,但耗电量约为普通灯泡的一半。
更具体地说,Jetson Xavier芯片每秒可以运行30万亿次运算,功率仅为30瓦。这一性能的背后,是Jetson Xavier包含有不少于6种不同类型的芯片,90亿个晶体管。
这个系统中有1个8核ARM64 CPU,1个Volta Tensor Core图形加速器,以及几个专用AI模块。最后这些包括一对NVDL系列深度学习芯片,以及3种不同类型的处理器,用于摄取机器人摄像头的视频信息。拥有各种各样的芯片使得Jetson Xavier能够处理各种计算任务。
这种多样性对于机器人应用来说非常重要,因为有大量不同类型的操作,例如一个仓库机器人在周围环境导航以便进行操作。自主设备通常也必须同时进行这些计算。Nvidia称,有了Jetson Xavier就可以同时运行数十种算法。
除了Jetson Xavier之外,Nvidia还推出了一个名为Isaac的开发工具包,其中有三个组件,主要是一个模拟器,可以让机器人制造商在虚拟环境中测试和训练他们针对Jetson Xavier开发的算法。
Isaac中的另外两套工具也有类似的用途,其中一个是各种库的集合,可以帮助开发人员优化其AI模型的性能,另一个是用于管理机器人传感器的一组编程接口。
Nvidia将在价格为1299美元的开发套件组合中提供Jetson Xavier和Isaac,该套件将于8月份上市。Nvidia表示,该系统可以为包括零售、物流和建筑在内各种行业机器人系统提供动力。Nvidia甚至认为Jetson Xavier可用于某些非机器人用例中,如医疗设备。
黄仁勋在声明中表示:“人工智能,加上传感器和执行引擎,这将成为新一代自动化机器的大脑。终将有一天,有数十亿台智能的设备用于制造、送货、仓库物流等领域。”
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。