至顶网服务器频道 09月28日 新闻消息: 2016年,机器在ImageNet中图像识别错误率达到了3.5%,远远超出了人类平均的5.1%。在越来越多的领域,AI已经拥有了超越人类的能力,比如象棋、围棋,比如图片、语音识别。AI计算平台和相关算法的发展是人工智能大跃进的基础,在线下模型训练中Xeon-Phi、GPU等发挥着巨大的作用,而在线上的推理任务中,浪潮FPGA深度学习加速解决方案则能够实现7倍以上的能效比提升。
机器的图像识别错误率已远低于人类
训练时间不是问题,运行时间才是关键
卷积网络之父、Facebook人工智能实验室主任Yann LeCun在一次采访中表示,"大规模的在卷积神经网络训练上可能是比较慢,但是在一个实际的应用中,没人关心训练到底要花多长时间,人们只关心运行需要多久。"
也就是说,当模型一旦被训练完成,线上推理的效率才决定用户体验。比如,有2个同样AI模型的训练,一家公司用了1天训练完成,但线上推理的效率只有每秒100个任务;另一家公司用了7天训练完成,但线上推理效率可以达到每秒1000个。那么对于最终用户而言,第二家公司的应用无疑更快、用户体验更佳。那么如何才能提升人工智能应用的线上推理任务的效率?
CPU、GPU都无法满足海量推理任务实时处理
目前,GPU已经在深度学习训练模型领域开创性地创建了包含CNN、DNN、RNN、LSTM以及强化学习网络等算法在内的应用加速平台和完整的生态系统。
GPU虽火,但技术上也有一定的局限性:
1. GPU在应用过程中无法充分发挥并行计算优势。
深度学习包含两个计算环节,即线下训练和线上推理环节。GPU在深度学习算法模型训练上非常高效,但在推理时,一次性只能对于一个输入项进行处理,并行计算的优势不能发挥出来。
2. 运行能效比不佳。
相比较而言,运行深度学习算法实现同样的性能,GPU所需功耗远大于FPGA,通常情况下,GPU只能达到FPGA能效比的一半或更低。
3. 硬件结构固定不具备可编程性。
目前来看,深度学习算法还未完全成熟,算法还在迭代衍化过程中,若深度学习算法发生大的变化,GPU无法像FPGA一样可以灵活的配置硬件结构,快速切入市场。
因此,FPGA和GPU未来在超级数据中心将成主流应用。尤其是在深度学习方面, GPU强在训练,而FPGA强在推断。原百度IDL常务副院长、现地平线机器人创始人&CEO余凯博士在北大一次公开课中透露:"百度广告系统上线跟语音系统上线都需要实时计算,并且它的流量特别大,特别是广告,这种情况下 CPU 跟 GPU 其实都扛不住,所以我们当时用 FPGA 去做专门的硬件加速。"
浪潮FPGA方案加速,能效比提升7倍以上
由于FPGA具有可编程专用性,高性能及低功耗的特点,浪潮推出基于FPGA的深度学习加速解决方案,希望通过更高配置的硬件板卡设计和内置更高效已编译算法,来加速FPGA在人工智能领域的应用。
这一方案基于浪潮研发的业界最高密度的FPGA卡--F10A,单芯片峰值运算能力为1.5TFlops,而功耗仅35W,每瓦特性42GFlops。同时,F10A设计半高半长PCI-E插卡,具有灵活的板卡内存配置,最大支持32G双通道内存,能够寄存更多的并行任务数据。此外,F10A支持2个10Gb光口,可以实现数据直接从网络到板卡处理,无需经过CPU,减低了传输延时。
基于业界最强性能的浪潮F10A FPGA的图像压缩加速方案
而在算法上,浪潮FPGA深度学习加速解决方案针对CNN卷积神经网络的相关算法进行优化和固化。客户在采用此解决方案后,只需要将目前深度学习的算法和模型编译成与浪潮深度学习加速解决方案的配置脚本,即可进行线上应用,省去至少3个月到半年的开发周期和相关成本。并且在算法运行效率上,浪潮FPGA加速方案相比CPU、GPU都有着很大优势。
目前,浪潮FPGA方案可加速ResNet等神经网络,能够应用于图片分类、对象检测和人脸识别等应用场景。以通过构建ResNet残差网络的图片识别分类任务为例,对通用图像识别基础数据集CIFAR-10进行测试,通过浪潮FPGA解决方案进行处理,能够实现每秒742张的处理速度,Top-5识别准确率达到99.7%。而在同样的模型下,使用NVidia M4仅能达到172张每秒,并且M4的功耗为50-75W,浪潮FPGA的功耗仅为30-45W。因此,从能效比来看,浪潮FPGA加速解决方案在图片识别分类应用上,相比GPU能效比能提升7倍以上!同样,与通用CPU对比,在处理这种高并行、小计算量的任务时,FPGA的优势将更明显。
除了AI,FPGA还有更多想象空间
除了在AI的线上推理方向,FPGA在其他很多方面也能发挥价值。在面向计算密集型任务,比如矩阵运算、图像处理、机器学习、压缩、非对称加密、搜索的排序等的时候,拥有流水线并行和数据并行的FPGA效率会高很多。
目前,浪潮已经推出面向WebP图片转码、Gzip数据压缩和深度学习等方向的完整解决方案,能够实现10倍以上的图片压缩吞吐能力,8-10倍的数据压缩效率和10倍以上的图片分类识别能效比。
好文章,需要你的鼓励
Anthropic 推出面向高等教育的 Claude for Education 计划,与 OpenAI 的 ChatGPT Edu 计划形成竞争。该计划为学生、教职员工提供 AI 聊天机器人 Claude 的访问权限,并增加了一些新功能。新功能包括"学习模式",旨在培养学生的批判性思维能力。Anthropic 已与多所大学达成合作,希望通过这一计划扩大在教育领域的影响力。
Uplimit推出了一套AI学习代理系统,旨在帮助企业快速提升员工技能,同时大幅减少传统企业培训中的管理负担。该系统包括技能培养、项目管理和教学助理三类AI代理,通过主动学习方法提高课程完成率,解决AI发展快于劳动力适应的技能差距问题。早期客户反馈显示,该系统可显著提高培训效率和完成率,有望革新企业学习发展领域。
MediaTek 推出新一代 Kompanio Ultra 芯片,专为 Chromebook 设计。这款芯片不仅提升了性能和电池续航,更重要的是增强了生成式 AI 能力,使得价格亲民的 ChromeOS 笔记本电脑也能运行先进的 AI 助手。MediaTek 与 Google 密切合作,确保新芯片能充分发挥 Chromebook Plus 设备的下一代 AI 功能。
ChatGPT的新图像生成器现已免费向所有人开放,备受欢迎。本文介绍了5种利用ChatGPT新功能在图像中生成文字的提示方法,包括社交媒体宣传、复古打字机效果、定制T恤、书籍封面和个性化贺卡。这些方法可以帮助用户创建包含精美文字的高质量图像,适用于商业或个人用途。