穿梭于虚拟与现实,窥探“软件定义汽车”的智能未来
汽车制造商正在大力投资自动驾驶技术,例如,使用仿真和数字孪生技术,来训练、测试和验证在自动驾驶汽车上运行的深度神经网络(DNN)。“软件定义”这一概念不但在改变汽车的研发,也在重塑汽车所带来的客户体验。
软件定义成为移动出行领域的未来趋势
曾经,电子设备的功能是固定且不可更新的,而如今,不管是智能电视,还是智能手机,消费者都期待能够通过软件更新,设备得到升级。同理,新一代软件定义汽车也将从根本上改变汽车行业。
传统的汽车架构并未围绕软件而设计,这是因为早期分布式的 ECU 架构,因而很难进行更新。但未来的汽车将拥有一个集中式的高性能计算平台,比如广泛应用于全球汽车制造商的 Drive Orin,或是预计于 2025 年上车的 Drive Thor,它们能够运行复杂的软件堆栈,以同时实现自动驾驶、车载信息娱乐系统(IVI)等先进的智能功能。此外,该计算系统还必须留出充足的冗余,为目前阶段暂未设想到的应用而“未雨绸缪”。
NVIDIA DRIVE Orin
区别于传统汽车,软件定义汽车可在其整个生命周期,通过 OTA 无线更新,为用户提供从自动驾驶到车内数字助理等最新功能。传统汽车随着时间的推移其产品价值会有所下降,但软件定义汽车在落地第一天仅维持了最基本的水平,其产品功能将在未来不断得到升级与优化,因此车辆的价值也将持续提升。
软件定义架构开拓了新的商业模式。汽车制造商不仅可以获得车辆销售时的“一次性收入”,还可以在汽车生命周期内获得软件服务方面的“持续性收入”。例如,汽车制造商在提供新功能时可选择免费、一次性收费、按使用收费或订阅收费等多种模式。
NVIDIA DRIVE Thor
在虚拟世界中开发智能汽车
软件定义汽车的设计是非常耗时且昂贵的,且需要全球各地团队投入其中,因此汽车行业的产品开发周期往往会长达多年。
NVIDIA Omniverse 等可扩展的开放式平台正在通过新的方式简化汽车设计流程、提高工作效率以及生产力。
借助 Omniverse,设计师和工程师可以紧密合作,进行沉浸式、协作型的设计概念讨论与测试,并对车辆模型和仿真进行高度精准的评估。团队可以在设计早期阶段发现问题,并对性能和外观等关键因素做出快速决策。
另外,通过在虚拟平台上审核车辆设计,项目团队既可以降低成本,又可以加快设计和制造流程的进度。
借助 NVIDIA DRIVE Sim 将设计和工程制造集成到虚拟工作室
这项技术也可用于在虚拟展厅中向潜在客户展示最新车型。客户可以在虚拟环境中轻松地对汽车进行配置,并查看如真皮座椅缝线,漆面反光等最新设计的细节,以及“体验”该车型各种先进功能。由于能够更直观地看到效果,客户的购买意向将进一步提高。
自动驾驶汽车的虚拟试验场
除了复杂、全面的设计流程之外,自动驾驶汽车在上路前还需要在不同场景中进行大规模的开发和测试。
为了尽可能地保证车辆及驾乘人员的安全,自动驾驶汽车必须有能力应对道路上的各种突发情况,例如车辆紧急制动或转向、行人、恶劣的天气条件等,以及各种由于危险系数过高而无法在现实世界中测试的情况。
在真实环境中,针对上述所有情况来进行车辆测试几乎是不可能的,而且道路测试也缺乏可控性、可重复性、充分性以及足够的效率,因此仿真显得尤为重要。在自动驾驶汽车正式上路前,开发人员可以在虚拟世界中进行充分测试。
由 Omniverse 赋能的 DRIVE Sim 场景重建
伴随近期 AI 领域的技术突破,开发人员现在可以直接使用现实世界的数据构建仿真场景,在提高准确性的同时,节省宝贵的时间和金钱成本。
这个新的 AI 流程被称为神经重建引擎(Neural Reconstruction Engine,NRE),它能够自动提取仿真所需的关键组成部分,包括环境、3D 资产和场景等,然后将这些部分重建成仿真场景。这些场景具有现实世界的真实性,还能够按需操作,并且按照真实环境做出反应。如果通过人工来实现相同的细节水平和多样性,不仅成本高,耗时长,而且无法扩展。
神经重建引擎(NRE)赋能自动驾驶仿真
合成数据生成也是加快仿真环境中自动驾驶汽车开发的一个重要手段。除真值数据外,所生成的基于物理学的摄像头、雷达、激光雷达和超声传感器数据,现在也可加入用于训练自动驾驶汽车 AI 感知网络的数据集。
使用合成数据可以减少时间和金钱成本,并始终保持准确性,还能生成真人无法标记的真值数据,如深度、速度和被遮挡的物体等。此外,它还能生成罕见场景和危险场景的训练数据来对真实数据加以补充,从而有针对性地解决自动汽车所面临的巨大挑战。
通过使用物理准确的仿真平台生成真值合成数据,自动驾驶汽车开发者可以提高生产力、效率和测试覆盖范围,进而加快产品上市时间,同时最大限度地减少在现实世界中的驾驶测试。
更加安全、智能和个性化的自动驾驶未来
AI 正在变革汽车行业。汽车制造商正在使用仿真平台开发自动驾驶汽车,并采用以软件为中心的的汽车设计来实现自动驾驶功能和其他智能服务。梅赛德斯·奔驰、捷豹路虎等汽车制造商计划在近期开始生产高度自动化的软件定义汽车,消费者将很快能够享受到技术所带来的便利。
此外,随着个人出行方式变得更加电气化和自动化,汽车正在变成一个生活空间。借助 NVIDIA DRIVE 新一代的集中式架构,DRIVE Concierge 能够无缝编排驾驶员信息、座舱和车载信息娱乐功能。汽车制造商可以轻松地自定义和扩展其 IVI 产品,为每位乘客带来个性化的体验。
通过 DRIVE Concierge,车上每位乘客都能享受到专属的智能体验
最后,安全性一直是自动驾驶汽车的重中之重。当我们谈及驾驶安全的时候,这意味着我们只有一次机会。我们坚信自动驾驶汽车将成为新一代的交通工具,因此 NVIDIA 把自动驾驶技术开发作为一项使命,通过将安全性纳入到设计、生产、车辆运行等每一个开发环节,为所有人提供更加安全、便捷和愉悦的驾乘体验。
本文相关精彩视频下载地址:
https://pan.baidu.com/s/1ze3gia5rnv3CBcFLDWckXw
提取码:b174
好文章,需要你的鼓励
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。
这项由中国人民大学高瓴人工智能学院研究团队发表的研究解决了大语言模型评判中的自我偏好问题。研究提出了DBG分数,通过比较模型给自身回答的分数与黄金判断的差异来测量偏好度,有效分离了回答质量与自我偏好偏差。实验发现,预训练和后训练模型都存在自我偏好,但大模型比小模型偏好度更低;调整回答风格和使用相同数据训练不同模型可减轻偏好。研究还从注意力分析角度揭示了自我偏好的潜在机制,为提高AI评判客观性提供了重要指导。
这篇研究提出了DenseDPO,一种改进视频生成模型的新方法,通过三大创新解决了传统方法中的"静态偏好"问题:使用结构相似的视频对进行比较,采集细粒度的时序偏好标注,并利用现有视觉语言模型自动标注。实验表明,DenseDPO不仅保留了视频的动态性,还在视觉质量方面与传统方法相当,同时大大提高了数据效率。这项技术有望推动AI生成更加自然、动态的视频内容。