12月12日,日本艺术家村上隆在今日头条、西瓜视频、抖音同步开启首场中国直播,吸引近80万人次在线观看。直播过程中,村上隆向中国观众分享了他近期的图书作品以及新的作品灵感,著名摄影师蜷川实花和知名主持人蔡康永也与村上隆探讨了艺术理念等问题。
本场直播中,火山引擎旗下的火山同传产品独家全程提供了实时智能同传字幕,通过深厚的技术实力和稳定的产品服务,给中国观众带来了流畅的跨国直播体验。
火山同传对外首秀 打造“影院级字幕”
在传统会议、直播场景中,机器翻译解决方案提供的字幕通常是“打字级字幕”,观看这种字幕,观众需要投入很大的精力在浏览和理解字幕上,观众体验非常差。原因有两个:一是“打字级字幕”全程会不停跳动,观众的视线无法聚焦,容易造成视觉疲劳。另一个,每句字幕的停留时间过短,观众往往来不及看完就会跳到下一句。
为了提升用户体验,此次村上隆的跨国直播中,火山同传创新性地推出了“影院级字幕”方案,与视频流整合后流畅地输出完整的译文语句,在屏幕上逐句显示。观众可以清楚看到精准的字幕结果,免受字幕跳动带来的视觉干扰。
在本次村上隆的跨国直播中,火山同传的“影院级字幕”方案就引起了观众们的好奇和质疑。在弹幕里,就有个别观众质疑真的是否在直播。
火山同传产品经理表示:“这种质疑在我们看来,是对我们的肯定。为了实现‘影院级字幕’效果,并在直播中保证‘音画字同步’,火山同传准备了一套延时字幕方案。”
该方案中,音频被推送到主控端完成机器同传后,人工利用直播的推拉流延时时间,在机器同传的结果上进行内容校对,以保证投屏字幕的强可读性。之后,火山同传的画面延时功能,能够保证校对后的字幕在延时结束后准时送出,与延时后的画面整合并同步推流到观众端,最终呈现出添加了高质量字幕的直播画面。
保证一场专业直播同传字幕质量的关键是定向的技术优化。字节跳动杰出科学家、人工智能实验室总监李磊介绍,在村上隆的直播中,火山翻译团队除了采用前沿的神经网络机器翻译技术进行模型训练外,还针对直播场景引入了领域适应技术,将村上隆以往的访谈和演讲数据用于优化算法,并对口语规范化、专业术语定制都进行了特殊优化处理,确保最终呈现的字幕能够简洁、精准。
百项专利、50余篇学术论文 打造专业翻译产品矩阵
火山同传“影院级字幕”的背后,是火山翻译团队超过40位顶尖科学家、工程师打磨出的机器翻译模型。
火山翻译由字节跳动计算机研究科学家、工程师、产品经理、产品运营和语言专家组成的专业团队研发,拥有包括火山同传、火山翻译API、火山翻译Studio、浏览器翻译助手等在内的一系列矩阵产品。
目前,火山翻译已支持超过50个语种的全语向互译,应用于办公、娱乐、新闻等各类场景中,每天为来自全球的过亿用户提供优质的翻译体验。
火山翻译团队拥有百余项技术发明专利,在人工智能顶级国际学术会议已发表50余篇学术论文。其自研的高性能序列推理引擎LightSeq,推理速度业界领先,比原生系统提高10倍,翻译速度可达20,000词/秒。
在近期刚结束的机器学习顶级赛事——2020国际机器翻译大赛(WMT2020)中,经过全球语言专家充分评估,火山翻译在「中文-英语」语向翻译项目上力压群雄,以显著优势获得世界冠军。
在人工智能领域,“如何让AI更好地赋能行业”一直是个值得探索的方向。火山翻译的火山同传在这个方向上对外迈出了坚实的一步,将机器同传的高效快捷和人工翻译的精准进行结合。此次村上隆跨国直播中,火山同传就为观众提供了“影院级字幕”的直播体验,实现“1+1>2”的效果。
李磊表示:“火山翻译将致力于打造前沿研究、产品研发和用户反馈的闭环,在迭代中快速进步。希望火山翻译能帮助更多用户进行国际跨语言交流,为行业乃至整个社会发展贡献一份力量。”
好文章,需要你的鼓励
UniR(Universal Reasoner)是一种创新的推理增强方法,可为冻结的大语言模型提供即插即用的推理能力。由韩国科学技术院研究团队开发,该方法将推理能力分解为独立的轻量级模块,无需改变主模型结构。UniR的核心优势在于高效训练(仅更新小型推理模块)、出色的模型间迁移能力(小模型可指导大模型)以及模块组合能力(多个专用模块可通过logits相加组合使用)。在数学推理和翻译测试中,UniR显著超越现有微调方法,展示了轻量级模块如何有效增强大语言模型的推理能力。
Nebius团队开发了SWE-rebench,一个自动化管道用于从GitHub收集软件工程任务并进行去污染评估。该系统解决了两大挑战:高质量训练数据稀缺和评估基准容易被污染。通过四阶段处理(初步收集、自动安装配置、执行验证和质量评估),SWE-rebench构建了包含超过21,000个Python交互式任务的数据集,并提供持续更新的评估基准。研究发现部分语言模型在传统基准上的表现可能被污染效应夸大,而DeepSeek模型在开源模型中表现最为稳健。
这项研究提出了JQL(发音为"Jackal"),一种通过多语言方法提升大型语言模型预训练数据质量的创新系统。研究团队从拉马尔研究所等机构通过四阶段方法解决了多语言数据筛选的难题:先由人类评估内容教育价值创建基准数据,然后评估大型语言模型作为"评判者"的能力,接着将这些能力提炼到轻量级评估器中,最后应用于大规模数据筛选。实验表明,JQL在35种语言上显著优于现有方法,甚至能泛化到未见过的语言如阿拉伯语和中文,为多语言AI发展提供了高效可靠的数据筛选方案。
浙江大学和西湖大学研究团队开发的Styl3R实现了艺术风格化3D重建的重大突破,能在不到一秒内从少量未标定照片和任意风格图像创建具有多视角一致性的3D艺术场景。通过创新的双分支网络架构将结构建模与外观着色分离,系统不仅保持了原始场景结构,还准确捕捉了参考风格特征。与现有方法相比,Styl3R在处理速度和视觉质量上均显著领先,为创意内容制作开辟了全新可能。