Nvidia展示基于对话AI模型的语音合成研究成果

来源:业界供稿    2021-09-01 10:49:46

关键字: NVIDIA

Nvidia今天在Interspeech 2021大会上推出了其最先进的对话人工智能模型,缩小了合成语音和人类语音之间的差距。

Nvidia今天在Interspeech 2021大会上推出了其最先进的对话人工智能模型,缩小了合成语音和人类语音之间的差距。

Nvidia展示基于对话AI模型的语音合成研究成果

Nvidia科学和人工智能作者Isha Salian在一篇博客文章解释说,Nvidia在尝试使用AI创建与人类语音几乎无异的合成语音方面,取得了长足的进步。她指出:“人工智能已经将合成语音从单调的机器人录音以及有几十年历史的GPS导航系统,转变为智能手机和智能音箱中有着优美语调的虚拟助手。”

也就是说,差距仍然存在,因为人类语言中复杂的节奏、语调和音色是很难模仿的,但是Nvidia表示,现在距离弥合这一差距越来越近,将向所有人展示Nvidia正在取得的进展,同时邀请开发者基于这些成果再接再厉。

Salian称,RAD-TTS等可控语音合成模型可以很好地证明Nvidia所取得的成果、本月早些时候在SIGGRAPH Real-Time Live比赛期间,Nvidia演示了这一模型,该模型使用人类语音中的音频对一个文本转语音的模型进行训练,从而可以将任何新建文本转换为人类声音。

此外,RAD-TTS模型可以进行语音转换,也就是将一个说话者的声音转换为另一个人的声音,甚至这个人是以唱歌的形式而不是用正常声音说话。

Salian写道:“受到把人类声音作为一种乐器的想法启发下,RAD-TTS模型为用户提供了对合成语音的音高、持续时间和能量的细粒度、帧级控制”,这样就可以取得一些非常独特的结果,例如用女性叙述者的声音代替男性的声音。

Nvidia公司应用深度学习研究副总裁Bryan Catanzaro在新闻发布会上表示,语音研究是Nvidia的一个战略领域,在这个领域实际上有数十种潜在应用,从视频会议中的实时字幕,到医学转录、聊天机器人与语音接口等等。“我们觉得现在是让这些技术发挥更大价值一个很好的时机。”

Salian表示,Nvidia正在通过NGC人工智能软件中心上新推出的Nvidia NeMo工具包,将许多技术成果提供给开源社区。

Nvidia NeMo是一个用于GPU加速对话AI的开源Python工具包,旨在帮助研究人员和开发人员为不同的应用创建、试验和微调语音模型,该套件中包括了各种易于使用的应用编程接口和预先训练好的模型,从而帮助研究人员定制他们想要的模型,用于文本转语音、自然语言处理和实时自动语音识别。

其中一些模型已经使用Nvidia GPU系统对音频数据进行了数万小时的训练,现在开发者可以采用这些模型并针对一系列场景对模型进行微调。

Salian说,潜在的应用不再仅仅是为视频制作画外音这样简单的工作,还可以为有听力障碍的人群提供帮助,或者帮助人们用自己的声音在不同语言之间进行翻译。这些AI模型甚至可以用来重现标志性歌手的表演,不仅匹配歌曲的旋律,还匹配声音的情感表达。

除了Nvidia NeMo模型外,Nvidia研究人员还在Interspeech大会上参与了各种研讨,展示Nvidia在语音合成方面的进展。

    扫一扫

    分享文章到微信


    北京第二十六维信息技术有限公司(至顶网)版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号
    举报电话:010-62641205-5060 举报邮箱:jubao@zhiding.cn 安全联盟认证