生成式AI对各行各业正在产生深远影响,比如电信行业。随着生成式AI日益进入商业和消费者的生活方式中,以合适的成本构建合适的基础设施是网络运营商面临的最大挑战之一。
为了更好地拥抱生成式AI,运营商需要构建基础设施,而面对生成式AI,运营商需要改变已有数据中心,成为面向AI和5G的数据中心。
对加速计算和生成式AI的需求正在推动数据中心架构的根本性变革。软银正在创建一个互连的数据中心网络,用于共享资源并托管一系列生成式AI应用。相比以往的数据中心,这些新数据中心需要能够同时处理AI和5G工作负载。
通过与NVIDIA合作,软银使用全新NVIDIA MGX参考架构和基于Arm Neoverse的GH200超级芯片托管生成式AI和无线应用的数据中心,在生成式AI和5G应用之间动态分配GPU资源,以降低成本和更节能。
其中NVIDIA MGX以一个为加速计算优化的服务器机箱作为基础系统架构入手,GPU、DPU和CPU可以自由组合。AI训练和5G等多种任务可以在一台机器上处理,而且可以轻松地升级到未来多代硬件。MGX还可以轻松集成到云和企业数据中心。
这些特质显然对运营商具有巨大的吸引力,一方面他们可以拥抱AI,同时又可以优化已有基础设施,实现降本增效。
NVIDIA技术正在塑造未来5G、 6G无线和视频通信。
当前运营商正在拥抱RAN,特别是开放式vRAN,而NVIDIA也在强化对vRAN的支持,让运营商在开放与性能表现取得兼顾。
NVIDIA Grace Hopper和NVIDIA BlueField-3 DPU将加速软件定义的5G vRAN以及生成式AI应用,而无需定制硬件加速器或专用5G CPU。
此外,配备BlueField-3的NVIDIA Spectrum以太网交换机将为5G提供高精度时间同步协议。
该解决方案在NVIDIA加速的1U MGX服务器设计上实现了突破性的5G速度,根据公开的5G加速器数据,它实现了业内吞吐量最高的36Gbps下行链路容量。
NVIDIA Aerial是一个应用程序框架,实现了5G无线局域网(RAN)的GPU加速信号和数据处理。通过将NVIDIA Aerial软件引入到高性能的软件定义的云原生5G网络中,这些5G基站将允许运营商动态地分配计算资源,并实现比竞品高2.5倍的能效。
结语
对于处于转型中的运营商而言,他们希望能够抓住5G和生成式AI带来的市场机遇,而NVIDIA推动以加速计算和AI为标志的计算革新,帮助运营商构建一个强有力的基础设施,驱动自身的业务创新。
好文章,需要你的鼓励
生成式AI在电商领域发展迅速,但真正的客户信任来自可靠的购物体验。数据显示近70%的在线购物者会放弃购物车,主要因为结账缓慢、隐藏费用等问题。AI基础设施工具正在解决这些信任危机,通过实时库存监控、动态结账优化和智能物流配送,帮助商家在售前、售中、售后各环节提升可靠性,最终将一次性买家转化为忠实客户。
泰国SCBX金融集团开发的DoTA-RAG系统通过动态路由和混合检索技术,成功解决了大规模知识库检索中速度与准确性难以兼得的难题。系统将1500万文档的搜索空间缩小92%,响应时间从100秒降至35秒,正确性评分提升96%,为企业级智能问答系统提供了实用的技术方案。
存储供应商Qumulo发布多租户架构Stratus,为每个租户提供独立的虚拟环境,通过加密技术和租户专用密钥管理系统实现隔离。该统一文件和对象存储软件支持本地、边缘、数据中心及AWS、Azure等云环境部署。Stratus采用加密隔离技术确保敏感数据安全,同时提供任务关键操作所需的灵活性和效率,帮助联邦和企业客户满足合规要求。
中科院和字节跳动联合开发了VGR视觉锚定推理系统,突破了传统AI只能粗略"看图"的局限。该系统能在推理过程中主动关注图片关键区域,像人类一样仔细观察细节后再得出结论。实验显示VGR在图表理解等任务上性能大幅提升,同时计算效率更高,代表了多模态AI"可视化推理"的重要进展。