“不可思议”的GPU集群赋能Autopilot系统及全自动驾驶的AI开发工作
为了应对这项有史以来最大的计算挑战之一,特斯拉需要配备前所未有的算力。
在本周的CVPR(国际计算机视觉与模式识别会议)上,汽车制造商特斯拉的AI高级总监Andrej Karpathy公布了公司内部用于训练Autopilot与自动驾驶深度神经网络的超级计算机。这个集群使用了720个节点的8个NVIDIA A100 Tensor Core GPU(共5760个GPU),实现了1.8 exaflops级别的超强性能。
Karpathy表示:“这是一台性能卓越的超级计算机,以FLOPS计,它大概可以在全球超级计算机中排到第5位”。
通过将汽车行业前所未有的算力水平作为其研发周期的核心,特斯拉让其自动驾驶汽车工程师能够使用前沿技术来高效完成这项工作。
NVIDIA A100 GPUs 为全球最强的数据中心提供各种尺度的加速。A100 GPU基于NVIDIA Ampere架构打造,其性能比上一代产品高出20倍,并且可以划分成7个GPU实例,动态地适配不同的需求。
使用100多万辆在路上跑的车(的数据)来持续优化和迭代新功能,正是Tesla自动驾驶的垂直整合之道,而GPU集群也是其中一部分。
从汽车到数据中心
特斯拉的循环开发流程始于汽车。“影子模式”在不实际控制车辆的情况下,悄无声息地执行着感知和预测深度神经网络(DNN)。
任何的错误预测、误识别都会被记录下来。随后,这些实例都会被特斯拉工程师所用,来创建一个包含多种复杂场景的训练数据集,以完善DNN。
当前已经收集了 100万个以每秒36帧的速度记录的10秒片段,总数据量高达1.5PB。在数据中心,特斯拉将DNN置于这些场景中反复运行,直到DNN能够无差错地运行。最后,DNN被发送回车内,并开始下一轮循环。
Karpathy表示,以这种方式在如此大量的数据上训练DNN需要庞大的计算能力,特斯拉为此建立并部署了内置高性能A100 GPU的最新一代超级计算机。
连续迭代
除了全方位的训练之外,特斯拉的超级计算机还为自动驾驶汽车工程师提供了在开发过程中进行实验和迭代所需的性能。
Karpathy表示,特斯拉目前部署的DNN结构可以让一个由20名工程师组成的团队同时在一个网络上工作,通过隔离不同功能来实现并行开发。
这些DNN运行训练数据集的速度会比之前快速迭代时还更快。
Karpathy表示:“计算机视觉是我们一切工作的基础,并且也是实现Autopilot的关键。为此,我们必须训练一个庞大的神经网络并进行大量实验。这也是我们在算力方面投入大量资金的原因。”
好文章,需要你的鼓励
北京大学研究团队开发出基于RRAM芯片的高精度模拟矩阵计算系统,通过将低精度模拟运算与迭代优化结合,突破了模拟计算的精度瓶颈。该系统在大规模MIMO通信测试中仅需2-3次迭代就达到数字处理器性能,吞吐量和能效分别提升10倍和3-5倍,为后摩尔时代计算架构提供了新方向。
普拉大学研究团队开发的BPMN助手系统利用大语言模型技术,通过创新的JSON中间表示方法,实现了自然语言到标准BPMN流程图的自动转换。该系统不仅在生成速度上比传统XML方法快一倍,在流程编辑成功率上也有显著提升,为降低业务流程建模的技术门槛提供了有效解决方案。
谷歌宣布已将约3万个生产软件包移植到Arm架构,计划全面转换以便在自研Axion芯片和x86处理器上运行工作负载。YouTube、Gmail和BigQuery等服务已在x86和Axion Arm CPU上运行。谷歌开发了名为CogniPort的AI工具协助迁移,成功率约30%。公司声称Axion服务器相比x86实例具有65%的性价比优势和60%的能效提升。
北京大学联合团队发布开源统一视频模型UniVid,首次实现AI同时理解和生成视频。该模型采用创新的温度模态对齐技术和金字塔反思机制,在权威测试中超越现有最佳系统,视频生成质量提升2.2%,问答准确率分别提升1.0%和3.3%。这项突破为视频AI应用开辟新前景。