NVIDIA在语言理解方面取得突破，有望实现实时会话AI

BERT的训练时间实现创纪录的53分钟，推理时间缩短至2毫秒，使得Microsoft等公司能够在大型应用程序中采用先进的语言理解技术

NVIDIA日前宣布在语言理解方面取得了突破性成果，令企业能够以更加自然的方式，使用实时会话AI与客户进行互动。

BERT是当前最先的AI语言模型之一，NVIDIA借助其AI平台率先将BERT的训练时间控制在一小时之内，并以仅比2毫秒多一点的时间完成了AI推理。这种具有突破性的性能水平能够让开发者将先进的语言理解技术应用于大型应用程序之上，为全球数亿消费者提供服务。

早期采用NVIDIA性能提升技术的公司中包括Microsoft，平安科技以及全球范围内一些最具创新性的初创公司。借助于NVIDIA平台，这些公司为客户开发了高度直观、响应即时且基于语言的服务。

有限的会话AI服务已经存在多年。但由于此前无法实现超大型AI模型的实时部署，聊天机器人、智能个人助理和搜索引擎的理解能力很难达到与人类相当的水平。然而，NVIDIA通过在其AI平台中添加关键性的优化功能，将此问题迎刃而解，在AI训练和推理方面都创造了新的速度纪录，并构建了迄今为止同类型中最大的语言模型。

NVIDIA深度学习应用研究副总裁Bryan Catanzaro表示：“对于适用于自然语言的AI而言，大型语言模型正在为其带来革新。它们正在帮助我们解决那些最为棘手的语言问题，让我们距离实现真正的会话AI更进了一步。NVIDIA所取得的突破性工作成果加速了这些模型的创建，让企业能够打造全新的高质量服务，以前所未有的方式服务客户，为其带来愉快的客户体验。”

最快的训练速度、最短的推理时间和最大的模型规模

预计未来几年，基于自然语言理解的AI服务将呈指数级增长。根据Juniper Research的研究表明，在未来4年中，仅数字语音助手的数量就将有望从25亿攀升到80亿。此外，据Gartner预计，到2021年，15%的客服互动都将完全通过AI完成，相比于2017年，将增长4倍。

在引领这个新时代的过程中，NVIDIA对其AI平台进行了多项关键性优化，从而创造了三项新的自然语言理解性能记录：

最快的训练速度：BERT（Bidirectional Encoder Representationsfrom Transformers）是世界上最先进的AI语言模型之一。NVIDIA使用搭载了92台NVIDIA DGX-2H系统的NVIDIA DGX SuperPOD运行该模型的大型版本，凭借1472个NVIDIA V100 GPU的强大性能，NVIDIA将BERT-Large的典型训练时间从几天缩短至仅仅53分钟。此外，NVIDIA还在单独一台NVIDIA DGX-2系统上执行了BERT-Large模型的训练任务，用时也仅为2.8天，这充分体现了NVIDIA GPU在会话AI方面的可扩展性。

最短的推理时间：借助于运行了NVIDIA TensorRT的NVIDIA T4 GPU，NVIDIA执行BERT-BaseSQuAD数据集的推理任务，用时仅为2.2毫秒，远低于许多实时应用程序所需的10毫秒处理阈值，与使用高度优化的CPU代码时所测得的40多毫秒相比，有着显著改进。

最大的模型规模：开发者们对于更大模型的需求正在日益增长，NVIDIA研究团队基于Transformer构建并训练了世界上最大的语言模型，Transformer是BERT的技术构件，也正被越来越多的其他自然语言AI模型所使用。NVIDIA定制的模型包含83亿个参数，是BERT-Large的24倍。

生态系统的采用情况

全球数以百计的开发者都已使用NVIDIA的AI平台，来推进他们自己的语言理解研究并创建新的服务。

Microsoft Bing正在利用其AzureAI平台和NVIDIA技术的强大功能来运行BERT，并使搜索结果更为准确。

Microsoft Bing部门项目经理Rangan Majumder说：“Microsoft Bing依靠最先进的AI模型和计算平台，为我们的客户提供最好的全球搜索体验。通过与NVIDIA密切合作，Bing使用NVIDIA GPU（Azure AI基础设施的一部分）进一步优化了热门自然语言模型BERT的推理功能，从而大幅提升了Bing于去年部署的排名搜索的搜索质量。与基于CPU的平台相比，使用Azure NVIDIA GPU进行推理，延迟降低了一半，吞吐量提升了5倍，这使得Bing能够为全球所有客户提供更加专业、更具成本效益且更实时的搜索体验。”

在中国，基于GPU加速的BERT已经陆续在搜索引擎、广告系统、内容推荐、智能客服等实际应用中发挥重要作用。

平安集团——世界500强第29位，金融机构第4位——旗下平安科技，覆盖金融、医疗、汽车、房产、智慧城市五大生态圈，其人工智能解决方案服务超过5亿用户。目前平安科技已经将基于Occam平台训练加速的BERT部署到在线客服问答系统上，未来会在更多的应用场景中使用。

平安集团首席科学家肖京博士表示，“平安科技率先采用先进AutoML技术打造一键式开发Occam平台，在NVIDIA研发的Fast Transformer的助力下，Occam以零算法基础和少量数据即可实现训练高精度机器学习模型为核心，结合SaaS、PaaS与微服务架构的思想，为各行各业提出适应性的解决方案。区别于其他的AutoML平台，Occam平台更具精准高效的自动模型训练能力，在保证模型精度的情况下，能够缩短模型训练的研发周期；同时在训练模型的推理能力上更胜一筹，因此在最具挑战的自然语言处理技术领域，平安科技凭借Occam平台能够独占鳌头，为营销、运营、风控、决策、服务、预测等各种智能场景业务提供支持。”

“我们用了NVIDIA最新的Faster Transformer改造的PA-Occam-BERT。实现了在NVIDIA GPU上相较CPU系统，10倍以上的延迟提升，和20倍以上吞吐提升，正因如此，平安科技能够以最短的时间，最低的成本训练出最精准、最具推理能力的PA-Occam-BERT模型，在Stanford DAWN Bench SQuAD 2.0问答推理延迟竞赛中获得冠军，这一成绩让我们有信心未来在更多业务线上部署基于GPU的PA-Occam-BERT，实现技术的快速落地。”平安科技副总工程师、Occam平台技术总监王健宗博士表示。

NVIDIA初创加速计划中也有多家初创公司（例如：Clinc、PassageAI和Recordsure等）正在使用NVIDIA的AI平台为银行、汽车制造商、零售商、医疗服务提供商、旅行社和酒店等客户构建先进的会话AI服务。

Clinc已通过客户名册，使全球3000多万人可以使用NVIDIA GPU支持的会话AI解决方案。这些客户包括领先的汽车制造商、医疗健康组织和一些全球顶级金融机构，例如：Barclays、USAA和土耳其最大的银行Isbank。

Clinc首席执行官JasonMars说：“Clinc领先的AI平台能够理解复杂的问题，并将其转化为功能强大、切实可行的洞察，以服务于这些全球领先的品牌。借助NVIDIA AI平台提供的突破性性能，我们能够突破会话AI的界限并提供革命性服务，让我们的客户能够借助于先进的技术，以更强大、更有意义的方式与客户进行互动。”

目前提供的优化

NVIDIA已为开发者提供了多项用于实现会话AI突破的软件优化：

• 使用PyTorch的NVIDIA GitHub BERT训练代码
• 适用于TensorFlow的NGC模型脚本和检查点
• GitHub上TensorRT经过优化的BERT样本
• 速度更快的Transformer：C＋＋API、TensorRT插件和TensorFlow OP
• MXNet Gluon-NLP，带面向BERT的AMP支持（训练和推理）
• AIHub上TensorRT经过优化的BERT Jupyter Notebook
• Megatron-LM：用于训练大型Transformer模型的PyTorch代码
• NVIDIA所采用的BERT是热门存储库HuggingFace中的一个优化版本