ZD至顶网服务器频道 08月24日 新闻消息: 英伟达公司已经正式公布其最新系统芯片Parker(亦有代客停车者之意),其将专门用于自动驾驶车辆。
我们在今年年初见到的PX 2设备就包含有两块Parker处理器。这款硬件能够利用车载摄像头及其它传感器数据作为视频输入内容,借此控制车辆巡航。而车内的人工智能模型负责持续就车速、行车位置等决策做出判断。
如此一来,车辆将能够实现自动驾驶,而其使用的人工智能模型则根据周遭对象进行训练。目前的深度学习系统需要利用大量数据以发现个中模式、识别物体并理解周边交通情况。但PX 2这样的设备在制造难度上仅相当于前者的一半甚至三分之一。如果大家希望拥有一套能够切实适应日常路况而不仅仅是高速路线的自动驾驶车辆,那么其必须有能力识别出工程施工、道路标记、十字路口乃至复杂的街巷地形。
我们曾经对Pascal架构进行了深入研究,下面来看此次发布的代号Parker的全新Tegra系统芯片。
这款16纳米FinFET系统芯片包含256个Pascal CUDA GPU核心,外加6个64位ARMv8兼容型通用核心:其中2个为英伟达自家的Denver 2核心,另外4个则为Cortex-A57核心。这6个计算核心能够彼此通信,其中2个Denver核心共享2 MB二级缓存,而各A57核心亦同样共享一套2 MB二级缓存。根据英伟达方面的介绍,这款芯片由台积电负责制造,能够在16位浮点值运算中提供1.5 TFLOPS性能。
其中还包含加密引擎、一套60 FPS 4K视频编码与解码器、音频输出、2D图形渲染器、具备ECC的128位每秒50 GB低功耗DDR4接口,外加图形处理器。大家可以直接将12台道路监控摄像头接入该芯片,从而对车辆周边的路况进行全面监控。再有,该设备也设置了闪存卡存储接口、SATA、QSPI以及标准CAN总线。两个CAN接口符合ISO 11898-1技术规范要求。
Parker芯片充分利用了ARM的硬件虚拟化能力,旨在立足理论层面将软件对车辆的控制功能在沙箱当中进行保护。
其中的安全管理引擎负责各项保护工作。它属于独立的双处理器设计,能够以步调一致的方式检测内部硬件错误。另外,它还运行有一套实时操作系统并监控内置计算机错误,将内容进行即时上报同时尽可能运行恢复代码。其能够从纠错RAM中获取警告,并将DRAM中的不可靠区址屏蔽掉。芯片上的内存亦具备ECC与奇偶校验保护机制。
根据我们得到的消息,Parker还符合ISO 26262标准要求。
下图所示为各CPU之间的对接方式,每个Denver核心拥有128 KB指令与64 KB数据缓存,而每个A57核心则拥有48 KB指令与32 KB数据缓存。这套互连机制允许各Denver与Cortex核心以异构方式协作,操作系统则根据实际工作负载级别将线程与进程迁移至不同的计算核心当中。
其硬件虚拟化功能支持最多8套虚拟机环境。每套邪气机控制自己的显示管线。其中CUDA核心、网络硬件以及音频与DMA电路同样进行虚拟化,从而避免未授权虚拟机对整体系统造成影响。当然,任何虚拟机管理程序都存在bug,希望这种权限外代码执行漏洞不会出现在生死攸关的自动驾驶芯片当中。
最后,让我们看看各组件是如何对接在一起的。Parker通过2个独立的PCIe连接GPU驱动仪表板显示内容与信息面板。该系统芯片的CAN线路直接接入车辆的通信总线,从而对引擎及其它系统加以控制。大家也可以通过USB 3.0将二者相连。另外,我们甚至能够通过10 Gbps以太网实现芯片接入。
在此之前,英伟达方面曾表示Parker芯片中包含有一套千兆以太网控制器,用于处理车辆周边收集到的音频与视频。不过在本示意图中,该以太网则PCIe接入英特尔芯片提供,视频也通过PCIe进行传递。
下图为英伟达公司在本周的Hot Chips大会上公布的演示文稿。
PX 2设备包含2块Parker系统芯片,且能够提供8 TFLOPS性能水平,或者换算为每秒24万亿次深度学习运算。目前已经有80家计算科学研究中心、汽车制造商及其它技术厂商在对这套设备进行研究。沃尔沃公司已经计划于明年将PX 2引入其XC90 SUV车型当中。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。