随着AI和深度学习的出现,计算领域正在经历着重大的变革,深度学习的训练和推理性能均依赖于GPU加速技术的合理运用。为了帮助科学家、工程师、开发者们能更好地利用GPU,使其在做深度学习推理的时候达到更好的效果,NVIDIA英伟达推出了支持高性能深度学习推理加速引擎——TensorRT。
TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于超大规模数据中心、嵌入式平台或自动驾驶平台来进行推理加速,从而进一步将人工智能推向更多的应用场景。

近日,NVIDIA英伟达将联合生态合作伙伴,面向全国开发者们发起TensorRT加速AI推理Hackathon 2021大赛。大赛的宗旨是为勇于创新、追求专业和团队合作精神的AI开发者团队提供便利的开发工具、先级的AI技术解决方案和展示与推广的平台。
大赛面向全社会开放,高等院校、科研单位、初创团队等人员均可报名参赛,计划组织30支队伍,每支团队3-5人,每个单位最多可组织2支队伍。参赛者需要利用TensorRT工具,完成优化自己所选深度学习模型的比赛任务。这就要求参赛者拥有深度学习基础,对常用模型有深入理解,熟练使用C/+/+或者Python,或者有模型部署经验。
本次参赛项目没有局限行业,只要属于人工智能项目,且具备合法性,都可以参加,鼓励优秀的创新应用。NVIDIA及其合作伙伴组成大赛导师团队,为参赛团队提供必要的技术指导和支持。
入围团队即可获得NVIDIA GPU开发导师团队专家线上技术指导;赛事期间NVIDIA提供5次线上技术培训;赛事期间可以免费获得阿里GPU云使用权益;获得NVIDIA和阿里云共同颁发的参赛证书。

本次活动免费,访问https://jinshuju.net/f/AI4MZG进行报名或者扫描下列二维码。

参赛队伍每个成员都需要填写报名表。
请队长提交报名后,在3月30日前将整个团队参加本次黑客松比赛的项目计划(不多于500 字),以及团队成员简介整理在一个文档,发邮件至:emilyz@nvidia.com,以供主办方评估是否符合参赛资格。逾期未提交者视为放弃参赛资格。
感兴趣者可添加“社区小助手"微信号咨询活动情况:NVChina01
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。