Nvidia TensorRT深度学习推理平台在会话AI领域取得新突破

Nvidia发布了用于高性能深度学习推理的新版本TensorRT软件平台，以强化自己的人工智能战略。

TensorRT是一个将高性能深度学习推理优化器与运行时相结合的平台，可为AI应用提供低延迟、高吞吐量的推理。

推理是AI的一个重要方面，AI训练涉及算法理解数据集的能力演化，而推理是指AI能够对这些数据进行操作以推断特定查询的答案。

新版本的TensorRT在性能方面有了显着改善，包括大幅缩短了在最先进AI语言模型之一——Bidirectional Encoder Representations from Transformers -Large（BERT-Large）——上的推理时间。众所周知，BERT-Large是一种自然语言处理训练方法，涉及在大型文本语料库（如维基百科）上训练通用语言理解模型，然后把该模型作为下游NLP任务的基础，例如回答人们的问题。

Nvidia表示，TensorRT 6新增的优化功能可以将B44与T4 GPU的算法推理时间缩短至5.8毫秒，低于之前的10毫秒性能阈值。

Nvidia表示，这次改进的性能足够高，使得BERT可以被企业首次部署到生产环境中。传统观点认为，应该在不到10毫秒的时间内执行NLP模型，才能提供自然的、引人入胜的体验。

Nvidia表示，还对该平台进行了优化，加速了对于语音识别、医疗应用3D图像分割、工业自动化中基于图像的应用相关任务的推断。

Nvidia表示，TensorRT 6还增加了对动态输入批大小的支持，这有助于加速AI应用，例如计算需求波动的在线服务等。TensorRT Open Source Repository 也有升级，新增的训练样本有助于加快基于语言和图像的应用的推断。

Constellation Research分析师Holger Mueller表示，这次改进很及时，因为会话AI平台的竞争正在全面展开。

“但是Nvidia仍然需要解决下一代应用的本地部署问题，除非它设法将TensorRT平台变成公有云。在这方面Nvidia有很好的经验，但需要一定的时间才能实现。”

Nvidia表示，现在已经可以通过产品页面下载TensorRT 6平台。