ZD至顶网服务器频道 01月18日 新闻消息: 英伟达公司在今年的消费电子产品展上公布的联合驾驶员"后座司机"AI可谓一鸣惊人。事实上,大多数与会者都被其在"车"中出色的唇语理解能力所震撼。
根据CES展会上公布的内容,这款联合驾驶员AI助手能够执行四项功能:面部识别、头部追踪、视线追踪与唇语阅读。自动驾驶AI属于GPU助力DRIVE PX 2平台的组成部分,其采用多款传感器以及由英伟达处理器支持的多种神经网络以实现功能。
英伟达公司的一位发言人在采访邮件中确认称,这款唇语阅读组件基于由牛津大学、谷歌DeepMind以及加拿大高级研究所的学者们共同撰写的一篇研究论文。
其实这篇论文在发布之初曾受到批评。虽然其中采用的神经网络LipNet拥有高达93.4%的识别准确率,但其测试场景仅限于一部分特定词汇而非连贯的句子。
在发表于arXiv上的第二篇论文中,我们看到LipNet的能力得到提升。其在通过数个小时的BBC新闻主持人唇部运动解析训练后,现在已经可以解读完整的句子。
英伟达公司的这款联合驾驶员助手显示,LipNet已经进一步获得了理解司机口头命令的能力,因此其能够处理各类常见指令--例如在噪杂的环境下准确选择播放某首曲目。
根据英伟达方面的说法,开发头部与视线追踪以及面部识别功能是为了向用户提供更出出色的安全性与驾驶体验。
"其中包含一套用于实现面部识别的AI,这样车辆就会了解到驾驶员是谁、设定个人偏好且不再需要使用钥匙启动车辆。另一套AI则用于视线追踪,这意味着车辆能够了解到您当前的注意目标,"英伟达公司在一篇博客中解释称。
英伟达公司向来以为游戏及高性能计算用例设计强大的GPU方案而闻名,但其近年来则一直把更多精力用于GPU加速型机器学习与AI的研发当中。“目前梅塞德斯-奔驰、奥迪、特斯拉以及丰田都已经成为该项新技术的客户,”一位英伟达公司发言人确认道。
好文章,需要你的鼓励
本文评测了六款控制台平铺终端复用器工具。GNU Screen作为老牌工具功能强大但操作复杂,Tmux更现代化但学习曲线陡峭,Byobu为前两者提供友好界面,Zellij用Rust编写界面简洁易用,DVTM追求极简主义,Twin提供类似TurboVision的文本界面环境。每款工具都有各自特点和适用场景。
纽约大学研究团队通过INT-ACT测试套件全面评估了当前先进的视觉-语言-动作机器人模型,发现了一个普遍存在的"意图-行动差距"问题:机器人能够正确理解任务和识别物体,但在实际动作执行时频频失败。研究还揭示了端到端训练会损害原有语言理解能力,以及多模态挑战下的推理脆弱性,为未来机器人技术发展提供了重要指导。
网络安全公司Snyk宣布收购瑞士人工智能安全研究公司Invariant Labs,收购金额未公开。Invariant Labs从苏黎世联邦理工学院分拆成立,专注于帮助开发者构建安全可靠的AI代理工具和框架。该公司提供Explorer运行时观察仪表板、Gateway轻量级代理、Guardrails策略引擎等产品,并在工具中毒和模型上下文协议漏洞等新兴AI威胁防护方面处于领先地位。此次收购将推进Snyk保护下一代AI原生应用的使命。
北卡罗来纳大学教堂山分校研究团队提出MEXA框架,通过动态选择和聚合多个专业AI模型来处理复杂的多模态推理任务。该方法无需额外训练,在视频理解、音频分析、3D场景理解和医学诊断等多个基准测试中显著超越现有模型,为AI系统设计提供了新思路。