8月17日,在美国旧金山举行的英特尔信息技术峰会(Intel Developer Forum,简称IDF)上,浪潮首席科学家胡雷钧进行了先进技术报告演讲,他结合当前深度学习应用特点和先进计算技术架构进行分析,认为KNL+FPGA是加速深度学习的黄金搭档。
深度学习在人脸识别、语音识别、精准医疗以及无人驾驶等领域被广泛的应用,近年来在高性能计算技术的支持下,其发展十分迅速。然而,深度学习的发展也面临着众多困境,如深度学习软件扩展性不够高、计算性能不够高、深度学习线上识别能耗大等问题。
在多年的深度学习计算系统实践中,浪潮发现深度学习应用具备如下特点: 在进行线下的模型训练时,计算系统需要处理较大规模的数据量,所以训练时间非常长,它需要庞大的计算资源去训练一个模型;而当深度学习应用的相关服务或产品上线时,系统却因为要处理成千上万的人均访问量往往规模巨大,这时深度学习应用对能耗的控制需求就非常高。结合以上特点,浪潮首席科学家胡雷钧提出,深度学习平台构建应该根据线下训练和线上识别的不同应用特点分别定制开发高性能计算解决方案。
今年6月,英特尔推出新一代融核处理器Knights Landing(以下简称KNL)受到业内广泛关注,其具备多达 72 个核心,双精度浮点性能超过3TFlops,单精度则超过6TFlops,被认为是高性能计算和深度学习的革命性产品。胡雷钧认为,KNL的性能十分强大,非常合适做深度学习线下训练的平台构建。而对于能耗要求比较高的线上识别平台,胡雷钧认为可考虑采用FPGA,FPGA的能耗比是CPU的5倍以上,可大幅节省系统能耗,满足深度学习线上识别平台的构建需求。因此,采用KNL+FPGA的深度学习平台构建方案是加速深度学习应用的最佳组合。
KNL+FPGA深度学习平台构建方案在浪潮的应用实践中得到了证实,浪潮曾全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI。此外,浪潮联合科大讯飞和Altera用OpenCL实现的FPGA深度学习语音识别加速方案采用CPU+Altera Arria 10 FPGA异构架构,软件完全采用高级编程模式OpenCL实现从CPU到FPGA的迁移,在100 bound数据的处理条件下,基于Altera ARRIA 10 FPGA的DNN运行时间比基于Intel Xeon E5-2650 V2 双路CPU的性能加速2.871倍,在DNN 实际运行测试中,FPGA可实现30GFlops/W的高性能功耗比,而采用OpenCL编程模型使得最终的软件开发周期比传统verilog方式缩短了1/3.
浪潮作为领先的云计算、大数据和高性能计算服务商,其深度学习计算系统已经应用于百度、阿里巴巴、奇虎360、科大讯飞等多家互联网厂商,市场占有率超过60%。
好文章,需要你的鼓励
TAE Technologies在最新一轮投资中获1.5亿美元,累计融资约18亿美元。公司利用 AI 技术优化融合反应堆设计,目标于 2030 年代商业化发电,谷歌等巨头均参与合作。
这项来自首尔国立大学的研究提出了状态机推理(SMR)框架,解决了大型语言模型在信息检索中的过度思考问题。研究者将推理过程从冗长的令牌生成转变为离散动作(精炼、重排序、停止),使系统能够高效地在状态间转换。实验结果表明,SMR在BEIR和BRIGHT基准测试中显著提高了检索性能,同时减少了74.4%的计算资源消耗,证明其在不同语言模型和检索器中的通用性。这种结构化方法不仅解决了冗余轨迹和误导性推理问题,还为构建更高效的信息检索系统提供了新思路。
Nvidia 正在全球数据中心推广 AI 芯片,其最新 Blackwell 架构在 MLPerf 基准测试中获得最高性能,大幅加速下一代 AI 应用的训练与部署。
REASONING GYM是GitHub团队开发的一个突破性推理环境库,为强化学习模型提供可验证奖励。与传统固定数据集不同,它能生成无限训练数据并调整难度,涵盖代数、算术、认知、几何等100多个领域的数据生成器。研究显示,即使顶尖AI模型在复杂任务上表现也不佳,而专门针对推理训练的模型明显优于通用模型。更重要的是,在一个领域学习的技能可以意外地迁移到其他领域,这为提升AI推理能力提供了新路径。