近日,在全球权威的自动驾驶nuScenes竞赛最新评测中,浪潮信息算法团队所提交的“IEI-BEVFusion++”算法模型在关键性指标nuScenes Detection Score(NDS)得到77.6%的高分,创造了3D目标检测全赛道迄今最高成绩。继去年以“DABNet4D”登顶纯视觉3D目标检测榜单后,该算法团队在面向融合感知自动驾驶领域再一次实现突破。
nuScenes数据集是目前自动驾驶领域中最流行的公开数据集之一,数据采集自波士顿和新加坡的实际自动驾驶场景,是第一个集成摄像头、激光雷达和毫米波雷达等多种传感器,实现360度全传感器覆盖的数据集。nuScenes数据集提供了二维、三维物体标注、点云分割、高精地图等丰富的标注信息,包含1000个场景,拥有140万帧图像、39万帧激光雷达点云数据、23个物体类别、140万个三维标注框,其数据标注量比KITTI数据集高出7倍以上。
犹如人类的眼睛为大脑提供了70%以上的信息,在自动驾驶领域,作为感知系统的主流模式架构,Lidar与Camera融合的3D多模态架构则为实现高鲁棒、高精度的3D目标检测提供了至关重要的信息输入,为业内提供更具通识性的解决方案。此次创nuScenes榜单成绩新高的“IEI-BEVFusion++”算法模型正是应用了3D多模态融合架构的思路,将Lidar与Camera形成有效的交互融合。
l Lidar与Camera的多模态交互融合,面临巨大挑战
3D目标检测作为自动驾驶至关重要的核心任务,面向强大的环境感知,自动驾驶车辆通过广泛车载传感器的信息输入,实现精准的目标检测。以Lidar为例,它可以有效精准地捕捉空间信息,点云数据所具备的天然3D优势,最大程度地提升了检测目标的测距精度、速度及方向;而Camera的优势则在于,它具备丰富的纹理信息,强大的语义及图像上下文理解能力使得它可以有效地识别行人、交通指示牌等具象化的路面信息。因此,Lidar与Camera融合的3D多模态架构将深度信息与纹理信息形成有效的交互融合,为更精准的3D目标检测提供了一种全新思路。
然而,将两种截然不同的模态几何和语义特征在一个表示空间内相结合,这是一个巨大的挑战。 一方面,预估检测目标的深度信息是提升3D目标检测精度的关键,现有模态的融合通常关注于点云雷达及Camera虚拟点间的交互,但由于点云雷达远比Camera数据稀疏得多,传统的融合方式无法解决固有模态间的深度信息差距。另一方面,在跨模态的融合交互中,点云雷达涉及体素的精细划分及大量的3D卷积计算,图像则由于多摄像头、高分辨率,复杂的特征提取网络,两者计算复杂且耗时长。因此,不同形态的数据整合也为多模态融合模型的训练速度和检测精度带来了新一层算力压力。
l NDS 77.6%, 多模态融合模型“IEI-BEVFusion++”刷新全赛道记录
IEI-BEVFusion++多模态融合模型,通过更有效的多模态训练架构、更精细的特征提取网络、更强大的数据预处理能力,实现Lidar与Camera的高效特征提取与融合优化。激光雷达点云特征为Camera数据提供检测目标的精确3D信息,Camera发挥其纹理轮廓及语义理解优势,进一步精细化点云区域特征,形成Liar与Camera的数据最大化互补,大幅优化了模型的检测精度。
基于Lidar与Camera的多模态融合模型架构,实现了三大核心技术突破:
- IEI-BEVFusion++ 多模态融合模型架构图 -
a)首先,基于更有效的多模态训练架构,使得mAP(全类平均正确率,mean Average Precision)平均提升2%+
Transformer的多模态数据融合架构,通过引入基于Camera数据的BEV检测头,辅助融合模型训练,在不增加过多计算量的同时,进一步增强语义信息特征,使得mAP(全类平均正确率,mean Average Precision)平均提升2%+。
b)其次,精细的特征提取网络,大幅提升目标的3D检测能力
一方面,采用多尺度Lidar的特征融合技术,进一步增强其特征提取的感受野,提升其对于检测目标,尤其是大目标的表征能力;另一方面,Lidar信息可直接辅助优化Camera的深度预测,采取级联深度辅助策略,大幅提升图像的3D检测能力。
c) 同时,强大的数据预处理能力,实现模型精度与训练速度双突破
创新设计Lidar与Camera同步贴图,替代了业内传统的cbgs(类平衡分组和采样)技术。一方面增强了样本的均衡性与多样性,另一方面保证了不同模态间的数据协调、同步,在提升目标定位检测精度的同时,保障目标速度、方位、缩放等相关指标的提升,训练速度更是较业内基准提升了4.5倍。
基于BEV融合算法的创新,“IEI-BEVFusion++”算法模型成功登顶3D目标检测任务(nuScenes detection task)全赛道榜单,将关键性指标NDS提升至77.6%。未来,浪潮信息算法团队将践行多角度切入,发挥算法、算力融合的全栈解决方案能力,推动自动驾驶领域的技术创新发展。
备注:文内所涉术语解释如下
1)BEV:Bird’s Eye View,是指将特征信息转化至鸟瞰视角
2)多模态融合:也称多源信息融合或多传感器融合,是指综合两个或多个模态的信息进行预测的过程
3)鲁棒(Robust): 是指系统在一定的参数摄动下,维持其它某些性能的特性
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。