俄罗斯世界杯拉开战幕,作为四年一届的球迷狂欢,围绕这一超级IP的媒体大战随之打响,在移动互联网平台上的“战火”尤其猛烈,甚至成为争夺流量的主战场。在球迷被各路信息流围拢,沉浸于各种互动新玩法的背后,实时音视频技术也正经受一次大考。在IM与音视频技术领域深耕多年的“大厂”网易云信的技术团队看来,实时音视频将在此轮世界杯的媒体大战中显示出日渐成熟的姿态,发挥定海神针的作用。
图:网易推出了世界杯专题,丰富互动体验
媒体大战升级,社交+娱乐新玩法成主流
资深的老球迷或许还记得,在信息相对匮乏的年代里,人们抱着收音机“话匣子”听世界杯,以及后来一家人围拢在电视机前看转播的情景。随着媒体技术的革新,这些怀旧场景已成为记忆,体育消费模式也悄然发生着变化,用户的观赛行为不再受时间与空间的约束。跨屏终端、实时互动、深度参与、个性消费的泛娱乐玩法成为移动互联时代的新特征。
对此,网易云信副总经理陈丽认为,“移动互联网时代下的泛娱乐领域玩法将逐渐趋向于以音视频为核心的表达方式,内容升级,注重玩法,并且以颠覆传统形式实现在线实时互动。”这一点,在本届世界杯的媒体大战中得到了充分印证。除了央视获得独家的媒体转播权之外,在网络平台上,高清直播、点播回放、直播竞答、弹幕、话题互动、网络自制节目等当下最为火爆的互动体验几乎无一缺席。
“花式观赛”背后,实时音视频技术经受考验
球迷在享受“花式观赛“体验的背后,实时音视频技术正在经历这一轮的大考。在网易云信的技术团队看来,基于世界杯的互动场景,实时音视频技术所要解决的已非简单的连接问题,而是要在连接与传输的基础上,支持这些花样翻新的沟通与耳目一新的互动体验。
实现这些复杂的功能,技术团队需要攻克一连串的技术挑战,譬如,赛事期间的用户访问集中,势必形成高并发,加之连麦、群聊、音视频传输等动作,如何确保音视频通话质量,优化弱网环境下的网络传输问题,进而避免因延时、卡顿、丢包等现象造成用户体验障碍。此外,在技术稳定、可靠的诉求之上,基于音视频的使用场景不同,技术开发还需要做有针对性的技术梳理,以匹配用户的真实场景,应对这些挑战绝非一日之功。
技术大厂领衔,音视频工业级应用日趋成熟
幸运的是,在网易云信等技术“实力派”服务商的领衔之下,实时音视频的技术难点正在逐一攻破,并走出实验室,向着规模化的工业级应用迈进。
网易云信副总经理沈青松介绍,网易云信自研的工业级音视频技术框架NRTC是一个综合性的技术平台开放框架,它极大地降低了客户的音视频开发门槛。NRTC在传输端采用私有协议,保障了音视频功能在开发过程中能灵活应对业务需求、开发环境的要求,且依托简单易用的SDK,为实现音视频功能研发的工程化应用铺平了技术之路。凭借稳定、易用、灵活的特点,NRTC技术框架在包括社交+娱乐、教育、医疗等众多领域的场景化应用得以实现,在直播竞答、在线抓娃娃、狼人杀等多个“风口”涌现时,IM与音视频技术也成为这场快速响应市场变化争夺战中的必备利器,终端用户也切身感受到了技术为其带来的卓越应用体验。
总之,世界杯媒体大战的背后是互联网技术快速发展迭代的缩影。音视频技术的应用赋予了世界杯这一超级IP以创新的元素,让社交+娱乐的丰富想象力最终落地,进入亿万用户的大小屏幕中。网易云信相信,未来,随着AI技术、智能硬件等创新技术的广泛应用,音视频技术可以施展的空间将也更广阔。
好文章,需要你的鼓励
浙江大学和吉利汽车研究院联合团队提出的FreeTimeGS是一种创新的动态3D场景重建方法。不同于传统方法,它允许高斯基元在任意时空位置自由出现,并赋予每个基元运动功能,使其能够随时间移动到相邻区域。研究通过4D正则化策略解决了高不透明度基元阻碍优化的问题。在多个数据集测试中,该方法在渲染质量和速度上均大幅超越现有技术,特别是在处理复杂动态场景时,使用单个RTX 4090 GPU能以467 FPS的速度实现1080p实时渲染,为电影制作、游戏和虚拟现实等应用提供了新可能。
这篇研究介绍了"对角线批处理"技术,该技术解决了循环记忆Transformer模型在处理长文本时的并行计算瓶颈。通过重新编排计算顺序,研究团队实现了在不破坏依赖关系的情况下进行并行计算,使LLaMA-1B模型处理长文本的速度提升3.3倍,同时内存使用减少167.1倍。这种纯运行时优化不需要重新训练模型,为实际应用中的长文本处理提供了高效解决方案。
BEVCALIB是一种利用鸟瞰图表示实现激光雷达与相机校准的创新方法,由南加州大学和加州大学河滨分校的研究团队开发。该方法将不同传感器数据转换到共享的BEV空间,并通过几何引导的特征选择实现高精度校准。在KITTI和NuScenes等数据集上,BEVCALIB比现有最佳方法平均提高了47-82%的性能,为自动驾驶和机器人系统提供了可靠的传感器融合基础。
博尔扎诺自由大学研究团队开发的PATS技术通过保留完整运动片段代替随机抽取视频帧,显著提升了AI评估体育技能的能力。该方法在EgoExo4D基准测试中表现出色,攀岩评估准确率提高26.22%,音乐提高2.39%,篮球提高1.13%。PATS能根据不同运动类型自动调整采样策略,为体育训练和人才发展提供了更准确的自动评估技术。