AI 革命如火如荼,为企业带来新的机遇,每次客户互动、每件产品和每项服务都将融入 AI 并借助 AI 实现改进。多年来,GPU 已经证明能够非常有效地解决某些极为复杂的深度学习问题,而且 NVIDIA 深度学习平台也逐渐成为业界标准的训练解决方案,但其推理能力并非广为人知。早在 2016 年 NVIDIA 就推出了支持高性能深度学习推理加速引擎 —— TensorRT。
TensorRT 是一个高性能的深度学习推理(Inference)优化器。经过几个版本的迭代,TensorRT 可以为深度学习应用提供低延迟、高吞吐率的部署推理。为了让更多的 AI 开发者们迅速掌握 NVIDIA 高性能加速工具 TensorRT,2021 年 3 月20 日,NVIDIA 联合阿里云和英迈中国,面向全国开发者们发起 TensorRT 加速 AI 推理 Hackathon 2021 大赛。
本次大赛吸引了 56 支队伍 247 名选手参与报名,经过方案初选,共有 37 支队伍入围决赛,入围团队有来自知名互联网公司、无人驾驶方案公司、智能家电公司,也有来自高等院校及研究单位。在接下来的 20 多天时间里,参赛团队利用 TensorRT 工具,在阿里云提供的 GPU 云平台上完成优化自己所选深度学习模型的比赛任务。
同时,NVIDIA 组建了一支由工程师组成的导师团队,为每个参赛队伍配备了 2 名NVIDIA 开发工程师,在线指导参赛队员利用 TensorRT 优化和部署模型。
4 月 30 日,所有参赛队伍提交代码托管平台链接和项目报告书,并通过在线的方式向导师演示阿里云平台的数据测试结果。紧接着,NVIDIA 组织核心技术评审团队,通过 TensorRT 加速技术路线比较、性能比较、创新性、可扩展性及实用性等几个方面考察每个团队的参赛模型。最终于 5 月 21 日公布比赛结果。
NVIDIA 开发与技术亚太区总监,同时也是本次大赛评审团负责人李曦鹏说:“第一届 TensorRT Hackathon 大赛非常精彩,我们看到了不少眼前一亮的模型方案。有几个队伍甚至发现了 TensorRT 的 bug,可以协助我们完善 TensorRT 的开发工作。”
李曦鹏表示,“人工智能应用场景创新日新月异,AI 模型的开发与部署也需要注入了新的动能。NVIDIA 构建 TensorRT 的初衷就是为了进一步将人工智能推向更为广阔的应用场景。今天,看到各位参赛选手们基于 TensorRT 加速引擎挖掘出了更多的潜能和功能需求,我感到非常开心和激动。不忘初心,牢记使命,我们希望与更多优秀的开发者们一起,共同推进 TensorRT 的发展,让 AI 在 GPU 上更容易、更高效地部署。”
很多参赛队伍均表达了在参赛过程中有导师指导的重要性。来自佳讯飞鸿智能科技研究院的团队负责人表示:"在 NVIDIA 导师的帮助下,提高了自己对 TensorRT 的认识,对于模型落地,又有了新的思路。”
来自上海高重科技有限公司,也是本次大赛一等奖团队成员表示:“很不错的一次实践体验,感谢 NVIDIA 的导师和组织者,从前期的基础知识培训到项目的具体实施,对自己的成长很有帮助。”
来自香港理工大学的团队负责人表示:“很棒的比赛,让我们的科研与实践能力都得到锻炼,希望以后还能有更多类似的比赛。”
好文章,需要你的鼓励
北京大学研究团队开发出基于RRAM芯片的高精度模拟矩阵计算系统,通过将低精度模拟运算与迭代优化结合,突破了模拟计算的精度瓶颈。该系统在大规模MIMO通信测试中仅需2-3次迭代就达到数字处理器性能,吞吐量和能效分别提升10倍和3-5倍,为后摩尔时代计算架构提供了新方向。
普拉大学研究团队开发的BPMN助手系统利用大语言模型技术,通过创新的JSON中间表示方法,实现了自然语言到标准BPMN流程图的自动转换。该系统不仅在生成速度上比传统XML方法快一倍,在流程编辑成功率上也有显著提升,为降低业务流程建模的技术门槛提供了有效解决方案。
谷歌宣布已将约3万个生产软件包移植到Arm架构,计划全面转换以便在自研Axion芯片和x86处理器上运行工作负载。YouTube、Gmail和BigQuery等服务已在x86和Axion Arm CPU上运行。谷歌开发了名为CogniPort的AI工具协助迁移,成功率约30%。公司声称Axion服务器相比x86实例具有65%的性价比优势和60%的能效提升。
北京大学联合团队发布开源统一视频模型UniVid,首次实现AI同时理解和生成视频。该模型采用创新的温度模态对齐技术和金字塔反思机制,在权威测试中超越现有最佳系统,视频生成质量提升2.2%,问答准确率分别提升1.0%和3.3%。这项突破为视频AI应用开辟新前景。