美国东部时间6月30日,国际权威AI基准测试MLPerf™公布最新一期榜单。在集群封闭任务赛道中,谷歌与NVIDIA各自获得4项第一;在单机封闭任务赛道中,浪潮获全部8项训练任务的4项冠军,NVIDIA、Nettrix各获得2项任务冠军。
MLPerf™由图灵奖得主大卫•帕特森(David Patterson)联合谷歌、斯坦福、哈佛大学等顶尖学术机构发起成立,是影响力最广的国际AI性能基准评测。此次性能评测基于最新MLPerf™ Training V1.0基准,分为固定任务(Closed)和开放任务(Open)。其中,固定任务要求使用相同模型和优化器,衡量同一深度学习模型在不同软硬件上的性能,广受厂商和客户看重;开放任务则放开对深度学习模型及精度的约束,侧重深度学习模型及算法优化的能力,旨在推进ML模型和优化的创新。
MLPerf™V1.0基准测试涵盖了8类极具代表性的机器学习任务,分别为图像识别(ResNet)、医学影像分割(U-Net3D)、目标物体检测(SSD)、目标物体检测(Mask R-CNN)、语音识别(RNN-T)、自然语言理解(BERT)、智能推荐(DLRM)以及强化机器学习(MiniGo)。其中,ResNet50和BERT作为计算机视觉和自然语言理解中最具代表性的AI模型,竞争最为激烈。
包括谷歌、NVIDIA、Intel、浪潮、戴尔、联想等在内的13家公司及科研机构,参与了此次MLPerf™封闭任务赛道测试。

谷歌与NVIDIA在集群系统测试中展开激烈冠亚军争夺,最终谷歌获得了ResNet、SSD、BERT和DLRM四项任务的第一,NVIDIA则夺得U-Net3D、Mask R-CNN、RNN-T和MiniGo四项任务冠军,双方平分秋色。在单机系统测试中浪潮获得ResNet、SSD、BERT和DLRM四项任务的冠军,NVIDIA获得RNN-T和MiniGo两项第一,Nettrix获得U-Net3D、Mask R-CNN两项第一。

作为业内最权威的AI基准测试,每一次MLPerfTM评测结果都在刷新业内纪录,不断突破AI系统性能。和2020年榜单相比,今年榜单的各项任务测试成绩均有明显提升。在集群训练上,Google在ResNet模型训练任务中以0.23分钟打破2020年创下的0.47分钟纪录,耗时缩短51%;在Bert模型任务中Google以0.29分钟完成训练,相比2020年0.39分钟的最佳纪录,用时缩短26%。
在单机性能上,浪潮同样在备受关注的ResNet和BERT上取得了新突破,创下单机27.38分钟完成128万张图片训练BERT模型的新纪录,比2020年最佳纪录耗时缩短18%;在BERT模型训练中,浪潮以21.15分钟打破2020年最佳成绩49.01分钟,用时缩短57%。
好文章,需要你的鼓励
企业谈AI基础设施时,注意力往往首先集中在模型、GPU和算力集群上。但当大模型应用走向规模化推理,一个瓶颈开始浮现:算力采购完成,并不意味着Token能够被稳定、低成本、可控地交付出去。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。