Meta Platforms正在构建所谓全球最快的、专注于人工智能的超级计算机,以处理涉及自然语言处理和计算机视觉的新型高级工作负载。
今天该公司透露,这套名为AI Research SuperCluster(RSC)的超级计算机虽然尚未完成,但已经启动并运行,用于训练具有数十亿参数的大型AI模型。
Meta长期以来一直是人工智能研究领域一个雄心勃勃的参与者,其原因也随着这套最新的超级计算机问世而变得越来越明显。Meta认为,人工智能在所谓元宇宙的发展中,将发挥着重要作用。元宇宙是一种虚拟世界,Meta认为人们将越来越多地聚集在Meta进行社交、工作和娱乐。
Meta AI研究人员Kevin Lee和Shubho Sengupta在一篇博文中这样写道:“我们希望RSC能够帮助我们构建全新的AI系统,例如,可以为那些说不同语言的人们提供实时语音翻译,这样让他们可以在研究项目上无缝地展开协作,或者一起玩AR游戏。最终,RSC相关的工作成果将为下一代主流计算平台——元宇宙——的技术铺平道路,在元宇宙中,AI应用和产品将发挥重要作用。”
Meta研究人员解释说,最近Meta在“自我监督学习”领域取得了长足的进步,这项技术是指算法可通过大量未标记的示例中进行学习,此外,Meta还让AI可通过专注于某些特定领域的输入来实现更高效的推理。
Meta总结说,为了让自我监督式学习和基于转换器的模型发挥全部优点,就需要训练越来越复杂的、适应性更强的AI模型,而这就意味着要处理更多的数据。例如,要开发更先进的计算机视觉模型,需要以更高的数据采样率处理更大更长的视频。
同时,语音识别也需要面对有大量背景噪音、最具挑战性的场景,自然语言处理必须理解不同的语言、口音和方言,因此Meta需要一台比目前现有计算机更强大的超级计算机。
RSC的功能非常强大,在760个Nvidia DGX A100系统中配置了6080个Nvidia最新型A100 GPU,而且这些GPU组合成了DGX节点,节点采用Nvidia高性能Quantum 200 Gb/s InfiniBand实现网络互连。RSC还采用了Pure Storage FlashArrays提供的175 PB存储,以及来自Penguin Computing Altus系统的46 PB缓存存储。
“与Meta传统生产型和研究型基础设施相比,RSC的早期基准测试表明,它运行计算机视觉工作流程的速度提高了20倍,运行Nvidia NCCL的速度提高9倍多,训练大规模NLP的模型快了3倍,这意味训练一个有数百亿参数的模型只需要3周时间,而之前需要9周,”Meta AI研究人员这样表示。
然而,Meta的目标是让RSC变得越来越强大,计划今年年中将实现连接16000个GPU。
除了专注于速度和功率之外,RSC还考虑到了安全性。Meta在人工智能领域的雄心壮志,需要能够使用来自自身生产系统的大量真实数据,所以需要非常小心谨慎地保护这些数据信息。
“RSC的设计从一开始就考虑到了隐私和安全性,因此Meta的研究人员可以使用经过加密的用户数据安全地训练模型,而且这些数据在训练完成之前都一直是加密的,”Lee和Sengupta这样写道。
这些保护措施包括确保RSC与公共互联网隔离,没有直接的入站或出站连接。同时,从Meta的存储系统到GPU的整个路径都是加密的,只有在数据被真正使用之前,才会被解密,不管是在GPU端点,还是内存中。
Constellation Research分析师Holger Mueller表示,主宰虚拟世界的竞赛正如火如荼地展开,AI将成为其中至关重要的一部分。
“毫无疑问,Meta作为对元宇宙抱有远大抱负的主要参与者之一,正在建造他们第一台用于研究目的的AI超级计算机。元宇宙仍处于起步阶段,需要进行大量研究才能真正起飞,因此Meta正在朝着实现这一目标迈出关键的第一步。”
Meta解释说,RSC现在已经启动并运行,很快就会变得越来越强大。今年Meta计划把RSC的GPU数量从6080个增加到16000个,整体AI训练性能提高到当前水平的2.5倍多。
Meta解释说:“我们预计,要让计算能力实现这种阶跃函数式的变化,不仅使我们能够为现有服务打造更准确的AI模型,而且还可以实现全新的用户体验,尤其是在元宇宙中。我们在自我监督式学习和使用RSC构建下一代AI基础设施方面的长期投资,将帮助我们打造基础技术为元界提供动力,并在更广泛的层面上推动AI社区的发展。”
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。