Tesla T4 GPU及全新TensorRT软件可助力实现智能语音、视频、图像和推荐服务
东京—GTC Japan—2018年9月13日—NVIDIA今日推出全新人工智能数据中心平台,为语音、视频、图像和推荐服务提供业界最先进的推理加速,从而推动全球AI服务的发展。
NVIDIA TensorRT超大规模推理平台采用基于突破性的NVIDIA Turing架构的NVIDIA Tesla T4 GPU,以及一整套完整的新推理软件。
该平台可为端到端应用提供最快性能和更低延迟,助力超大规模数据中心提供全新服务,例如增强型自然语言交互,以及对搜索查询的给出直接答案而非模糊匹配的一系列结果。
NVIDIA副总裁兼加速业务总经理Ian Buck表示:“未来人工智能将触及每种产品和服务并为之带来改进,我们的客户正在朝此方向发展。NVIDIA TensorRT超大规模平台的设计旨在实现这一目标,即比以往设想的更快、更高效。”
每天,大规模数据中心都会处理数以亿计的语音查询、翻译、图像、视频、推荐和社交媒体交互。所有这些应用的处理过程都需要在位于服务器上不同类型的神经网络进行。
为优化数据中心以实现最高吞吐量和服务器利用率,NVIDIA TensorRT超大规模平台包括实时推理软件和Tesla T4 GPU,处理查询的速度比仅采用CPU时快40倍。
NVIDIA预计AI推理行业有望在未来五年内平稳增长至200亿美元的市场。
NVIDIA TensorRT超大规模平台包括一整套硬件和软件产品,这些产品针对强大、高效的推理进行了优化。关键要素包括:
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
这项研究由香港理工大学和新加坡国立大学的团队共同完成,提出了R?ec,首个将推理能力内置于大型推荐模型的统一框架。与传统方法不同,R?ec在单一自回归过程中实现了推理生成和物品预测的无缝整合。研究者还设计了RecPO优化框架,无需人工标注即可同时提升模型的推理和推荐能力。实验结果显示,R?ec在三个数据集上显著超越现有方法,在Hit@5和NDCG@20指标上分别提升68.67%和45.21%。这一突破为下一代智能推荐系统开辟了新方向。
这项研究提出了CURE框架,通过强化学习让大语言模型同时学习编写代码和生成单元测试两种能力,无需使用标准代码作为监督。团队开发的ReasonFlux-Coder模型在仅用4.5K编程问题训练后,便在多个基准测试中超越了同类模型,代码生成准确率提高5.3%,最佳N选1准确率提高9.0%。该方法不仅提升了模型性能,还提高了推理效率,同时为降低API调用成本和无标签强化学习提供了新思路。