向自动驾驶过渡的趋势,加上公众对无人驾驶汽车安全性的担忧,使网络安全成为汽车原始设备制造商(OEM)的首要关注点。必须保障汽车系统的完整性和对车辆的控制,从而确保驾驶员、乘客和行人的安全。网络安全对于通过网络连接的汽车子系统等必不可少,对用于先进驾驶辅助系统 (ADAS) 和驾驶员监控的图像传感器也同样至关重要。
图像传感器相当于汽车的眼睛,支持 ADAS 功能,例如车道偏离警告、行人检测和紧急制动。它们帮助汽车系统评估周围环境并监控驾驶员的行为。未来,它们还将协助识别和验证汽车用户的身份并监控他们的生命体征,以便在驾驶员丧失行为能力时通过车载计算机来控制汽车。因此,图像传感器必须保持正常使用,尤其是在汽车可能遇到的极端情况下。
网络安全威胁
汽车图像传感器主要受到四种网络安全威胁的影响:伪造、篡改、绕过和窃听(特别是对于车内应用)。
由于汽车半导体行业当前的供应短缺问题,假冒产品呈上升趋势。虽然安装非正版部件可能并非出于恶意,但它会影响系统性能。由于非正版部件使用的是不同的启动过程、协议、固件和软件,最轻微的后果是 ADAS 系统根本无法运行。最糟糕的情况是,系统使用性能严重退化的不合格部件,导致系统的安全功能受到损害。
自动紧急制动 (AEB) 系统运行的前提是其图像传感器具有明确的特性(如高动态范围和低光性能)并按照这些规格(如曝光控制和每秒帧数)进行校准。假冒的传感器可能看起来与正品相同,但其性能和特性却大相径庭。例如,假冒伪劣的摄像头可能使用的是相同的传感器,但没有经过测试以保证最终的组件满足性能要求,这可能表现为会在高强度工作下出现故障。也就是说,它在正常条件下可以工作,但在其它条件(例如炎热、阳光充足的白天或寒冷的冬夜)下会出现性能降级或干脆失效。一些复杂的仿冒品可能会模仿真实的传感器支持初始化操作或简单的设备健康检查,但其在动态范围或帧速率方面的性能会大打折扣。由于 AEB 系统是使用正品部件进行的优化,因此假冒替代品的性能下降同样会影响系统的性能,可能还会带来灾难性的后果。比如,本来可以在车前较远的距离就检测到物体或行人,留下几秒钟的反应时间,现在可能只能在几米内检测到,没有足够的时间避免碰撞(图 1)。
图 1:用假冒产品代替正版图像传感器的后果
篡改图像传感器配置也会损害其性能。汽车系统通过编程来配置图像传感器,以优化机器视觉算法的图像质量,这些算法已针对特定实现方案进行了认证和测试。但是,如果有人(或某程序)修改了配置,则性能可能会受到影响。可能无法再保证汽车系统能正确感知汽车面临的场景(图 2)。
图 2:篡改图像传感器设置的后果
图像传感器不正常工作会让汽车“失明”,无法检测到潜在威胁。图像传感器向图像处理器提供原始视频数据,这些数据可用于提取有关前方障碍物的关键信息,以便汽车能够做出适当的响应。例如,从传感器接收原始视频数据的系统可以发现正在靠近的车辆,并按照最安全的操作来选择是踩刹车还是驾驶汽车远离危险。如果图像传感器不正常工作,系统将不再接收到原始视频数据,并且可能根本无法检测到正在靠近的车辆(图 3)。
图 3:图像传感器不正常工作的后果
确保符合规范
2021 年,联合国欧洲经济委员会 (UNECE) 工作组发布了 UN-R155 网络安全法规,要求 OEM 建立网络安全管理系统 (CSMS)。该法规自 2022 年 7 月起生效,以应对上述日益增长的威胁。汽车供应商必须确保所有相关组件符合 ISO 21434 网络安全标准。虽然仅使用符合 ISO 21434 标准的部件还不足以满足 UNECE 的要求,但这是符合规范的关键要素。
安森美 (onsemi) 自 2018 年开始在部分 ADAS 图像传感器中部署网络安全功能,使其符合网络安全规范。这些传感器有望在 2024 年之前达到网络安全标准。身份验证功能使安森美的图像传感器能够向主机证明它是正品。这一过程通过使用证书链或预共享密钥来实现。为确保视频数据的完整性,必须使用消息身份验证码(或 MAC)来证明传感器和主机之间的视频数据流未被篡改。最后是保护传感器控制和配置数据,防止使用 MAC 篡改特定密钥寄存器。由于防篡改协议因系统而异,因此系统处理器在检测篡改情况时将拥有最终决定权。
总之,网络安全规范对于防止汽车图像传感器成为汽车复杂电子系统中的特洛伊木马至关重要。对 OEM 而言,要想符合规范,需要的不仅仅是图像传感器中的网络安全控制电路。而含网络安全的图像传感器是使 ADAS 和车内监控系统完全符合网络安全规范的基本要求。
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。