美国东部时间10月21日,全球备受瞩目的权威AI基准测试MLPerf公布今年的推理测试榜单,浪潮AI服务器NF5488A5一举创造18项性能纪录,在数据中心AI推理性能上遥遥领先其他厂商产品。
MLPerf是当前全球最具影响力的AI计算基准评测组织,由图灵奖得主大卫·帕特森(David Patterson)联合谷歌、斯坦福、哈佛大学等单位共同成立,每年组织全球AI训练和AI推理性能测试并发榜。此次MLPerf的AI推理基准测试有全球23家公司和单位参与,在数据中心及边缘等场景进行AI计算产品的性能比试。今年MLPerf训练榜单已于7月公布。
浪潮NF5488A5获数据中心AI性能绝对优势
此次浪潮NF5488A5一举创造18项MLPerf推理性能纪录,成为创纪录最多的AI服务器。今年的测试中,数据中心AI性能最受关注,全部参与机构提交了507项性能测试数据。浪潮NF5488A5创下了数据中心22个赛项中的13项性能纪录以绝对优势领先,NVIDIA DGX取得了5项数据中心性能纪录。而在此前的MLPerf训练榜单中,NF5488A5在最核心的Resnet50训练任务中也创下了性能纪录,单机性能高居榜首。
浪潮NF5488A5创造18项MLPerf推理性能纪录
性能大幅提升3倍,全栈AI能力优势凸显
在此次基准测试中,浪潮AI服务器NF5488A5在开放优化(Open)和固定任务(Closed)的ResNet50基准性能测试中,均表现优异,相比2019年MLPerf推理榜单的服务器最好性能提升高达3倍。
MLPerf ResNet50推理性能2019 VS 2020对比
NF5488A5是浪潮自研的新一代AI服务器,是此次MLPerf全球竞赛中唯一可以在4U空间内支持8块安培架构A100芯片实现NVLink高速互联的AI服务器。浪潮NF5488A5在系统拓扑上采用了超低延迟设计,支持PCIe 4.0全链路极致优化,高频通信单元采用一级拓扑最近连接,最大限度提升处理器到AI芯片间的通信性能。同时,通过配置NUMA节点,确保每颗处理器与其直连的GPU之间通信性能最优,最大限度降低通信延迟。此外,NF5488A5通过深度优化系统结构设计,确保设备可在高温环境下稳定运行。
本次基准测试中,浪潮展示出了卓越的AI计算软硬件协同优化能力。在硬件层面,通过对CPU、GPU硬件性能的精细校准和全面优化,使CPU性能、GPU性能、CPU与GPU之间的数据通路均处于对AI推理最优状态;在软件层面,结合GPU硬件拓扑对多GPU的轮询调度优化使单卡至多卡性能达到了近似线性扩展;在深度学习算法层面,结合GPU Tensor Core 单元的计算特征,通过自研通道压缩算法成功实现了模型的极致性能优化,在精度无损的情况下性能提升近2倍。
各服务器MLPerf AI推理性能对比(以浪潮NF5488A5为基准,越高越好)
浪潮是全球领先的AI计算领导厂商,其AI服务器在中国的市场份额已连续三年保持在50%以上。浪潮致力于AI计算平台、资源平台和算法平台的研发创新,并通过元脑生态与AI领先企业共同推进AI产业化和产业AI化进程。
好文章,需要你的鼓励
CIO们正面临众多复杂挑战,其多样性值得关注。除了企业安全和成本控制等传统问题,人工智能快速发展和地缘政治环境正在颠覆常规业务模式。主要挑战包括:AI技术快速演进、IT部门AI应用、AI网络攻击威胁、AIOps智能运维、快速实现价值、地缘政治影响、成本控制、人才短缺、安全风险管理以及未来准备等十个方面。
北航团队发布AnimaX技术,能够根据文字描述让静态3D模型自动生成动画。该系统支持人形角色、动物、家具等各类模型,仅需6分钟即可完成高质量动画生成,效率远超传统方法。通过多视角视频-姿态联合扩散模型,AnimaX有效结合了视频AI的运动理解能力与骨骼动画的精确控制,在16万动画序列数据集上训练后展现出卓越性能。
过去两年间,许多组织启动了大量AI概念验证项目,但失败率高且投资回报率令人失望。如今出现新趋势,组织开始重新评估AI实验的撒网策略。IT观察者发现,许多组织正在减少AI概念验证项目数量,IT领导转向商业AI工具,专注于有限的战略性目标用例。专家表示,组织正从大规模实验转向更专注、结果导向的AI部署,优先考虑能深度融入运营工作流程并产生可衡量结果的少数用例。
这项研究解决了AI图片描述中的两大难题:描述不平衡和内容虚构。通过创新的"侦探式追问"方法,让AI能生成更详细准确的图片描述,显著提升了多个AI系统的性能表现,为无障碍技术、教育、电商等领域带来实用价值。