为了能够从灵活的部署中获益并更加轻松地采用最新的 AI 技术,广播、体育和流媒体领域的企业正在向软件定义基础设施过渡。
目前有限供应的 NVIDIA Holoscan for Media 是一个 AI 赋能的软件定义平台,该平台可以让媒体和视频直播管线与 AI 在同一个基础设施上运行。这使拥有媒体直播管线的公司能够在由 NVIDIA 提供加速且可反复使用的现成商用硬件上使用来自开发者生态系统的应用,提高自身的制作和交付能力。
Holoscan for Media 为老牌和新兴厂商的媒体直播应用提供了一个统一的平台,它包含了 AI 字幕生成、实时图形、视觉混合、播放服务器、编码、解码、转码、多视窗浏览器和网络媒体开放规范(NMOS)控制器,并将在未来几个月提供更多应用。
开发者可以使用 Holoscan for Media 简化开发流程、实现客户产品交付过程的精简化并整合新兴技术,同时还能减少研发支出。
Holoscan for Media 是一个基于互联网协议的平台,它以 ST 2110 等行业标准和通用应用编程接口(API)为基础,能够满足最严格的密度与合规要求。该平台包含精确时间协议(PTP)、NMOS 等提供互操作性和易管理性的基本服务,专门用于在有直播的高压生产环境中运行。
NVIDIA Holoscan for Media 在行业中的应用
拥有媒体直播管线的公司正在积极采用软件定义基础设施,向媒体直播制作与交付的下一阶段过渡。由 Beamr、Harmonic、Pebble、Qvest、RAVEL、RT Software、Speechmatics 和 Spicy Mango 等合作伙伴组成的生态系统正在不断壮大,他们与 NVIDIA Holoscan for Media 平台对行业未来抱有相同的愿景。
Beamr 首席执行官 Sharon Carmel 表示:“Holoscan for Media 平台充分利用了实时视频与 AI 整合后的强大力量,并且在 NVIDIA 计算的加速下与 Beamr 的先进视频技术和产品自然结合。相信我们的 Holoscan for Media 应用将通过高效优化 4K p60 实时视频流,显著提升媒体管线的性能。”
全球领先的技术和商业咨询公司 Qvest 的执行副总裁兼生成式 AI 实践联合负责人 Christophe Ponsart 表示:“NVIDIA 正在为软件定义的广播奠定基础,通过强大的计算能力和开发者友好的生态系统增强直播媒体。正是凭借如此出色的本地计算能力以及 NVIDIA 强大的开发者工具,身为技术伙伴和集成商的 Qvest 才能做到快速创新,利用我们深厚的行业专业知识和客户关系产生有意义的影响。”
由 Kubernetes 驱动的业界领先混合云平台红帽的美洲地区电信、媒体和娱乐全球副总裁 Gino Grano 表示:“NVIDIA Holoscan for Media 利用红帽 OpenShift 的强大功能,为下一代媒体直播应用提供了一个可扩展的云原生平台。借助这一企业级开源解决方案,有线电视和广播公司将受益于更加无缝的媒体应用部署和管理,跨环境提供更高的灵活性与性能。”
领先的语音 AI 技术提供商 Speechmatic 的产品总监 David Agmen-Smith 表示:“Speechmatics 很高兴能够扩大与 NVIDIA 的协作,成为 Holoscan for Media 上的首家语音转文本供应商。二者的结合能让我们无比轻松地瞬间播出准确无误的字幕。”
开始使用
通过使用 Holoscan for Media,向真正的软件定义基础设施转变,充分利用灵活部署、扩展资源以及最新的视频、预测和生成式 AI 技术。
在 9 月 13 日至 16 日于阿姆斯特丹举行的 IBC 2024 内容与技术大会上,参会者可以在展会现场看到 Holoscan for Media 的实际应用。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。