Nvidia发布了用于高性能深度学习推理的新版本TensorRT软件平台,以强化自己的人工智能战略。
TensorRT是一个将高性能深度学习推理优化器与运行时相结合的平台,可为AI应用提供低延迟、高吞吐量的推理。
推理是AI的一个重要方面,AI训练涉及算法理解数据集的能力演化,而推理是指AI能够对这些数据进行操作以推断特定查询的答案。
新版本的TensorRT在性能方面有了显着改善,包括大幅缩短了在最先进AI语言模型之一——Bidirectional Encoder Representations from Transformers -Large(BERT-Large)——上的推理时间。众所周知,BERT-Large是一种自然语言处理训练方法,涉及在大型文本语料库(如维基百科)上训练通用语言理解模型,然后把该模型作为下游NLP任务的基础,例如回答人们的问题。
Nvidia表示,TensorRT 6新增的优化功能可以将B44与T4 GPU的算法推理时间缩短至5.8毫秒,低于之前的10毫秒性能阈值。
Nvidia表示,这次改进的性能足够高,使得BERT可以被企业首次部署到生产环境中。传统观点认为,应该在不到10毫秒的时间内执行NLP模型,才能提供自然的、引人入胜的体验。
Nvidia表示,还对该平台进行了优化,加速了对于语音识别、医疗应用3D图像分割、工业自动化中基于图像的应用相关任务的推断。
Nvidia表示,TensorRT 6还增加了对动态输入批大小的支持,这有助于加速AI应用,例如计算需求波动的在线服务等。TensorRT Open Source Repository 也有升级,新增的训练样本有助于加快基于语言和图像的应用的推断。
Constellation Research分析师Holger Mueller表示,这次改进很及时,因为会话AI平台的竞争正在全面展开。
“但是Nvidia仍然需要解决下一代应用的本地部署问题,除非它设法将TensorRT平台变成公有云。在这方面Nvidia有很好的经验,但需要一定的时间才能实现。”
Nvidia表示,现在已经可以通过产品页面下载TensorRT 6平台。
好文章,需要你的鼓励
杜克大学研究团队建立了首个专门针对Web智能体攻击检测的综合评估标准WAInjectBench。研究发现,现有攻击手段极其多样化,从图片像素篡改到隐藏弹窗无所不包。虽然检测方法对明显恶意指令有中等效果,但对隐蔽攻击几乎无能为力。研究构建了包含近千个恶意样本的测试数据库,评估了十二种检测方法,揭示了文本和图像检测的互补性。这项研究为Web智能体安全防护指明了方向,提醒我们在享受AI便利时必须保持安全意识。
生成式AI的兴起让谷歌和Meta两大科技巨头受益匪浅。谷歌母公司Alphabet第三季度广告收入同比增长12%达742亿美元,云服务收入增长33%至151.5亿美元,季度总收入首次突破千亿美元大关。Meta第三季度收入512.5亿美元,同比增长26%。两家公司都将大幅增加AI基础设施投资,Meta预计2025年资本支出提升至700亿美元,Alphabet预计达910-930亿美元。
加州大学圣地亚哥分校研究团队系统研究了AI智能体多回合强化学习训练方法,通过环境、策略、奖励三大支柱的协同设计,提出了完整的训练方案。研究在文本游戏、虚拟家庭和软件工程等多个场景验证了方法有效性,发现简单环境训练能迁移到复杂任务,监督学习初始化能显著减少样本需求,密集奖励能改善学习效果。这为训练能处理复杂多步骤任务的AI智能体提供了实用指南。