ZD至顶网服务器频道 12月11日 编译:Facebook人工智能研究小组(FAIR)计划增加GPU硬件的投资达两倍之多,旨在将机器学习技术扩展到旗下更多的产品里。
Facebook的内部设计项目享誉业内,无论是简单地改善新闻推送(News Feed)算法抑或是为旗下的全球数据中心设计自主开发的全新硬件都做得不错。
全球最大的社交网络Facebook也不断对开源社区作贡献,日前传来的最新消息印证了以上两点,总部设在了加州门洛帕克的Facebook本周宣布计划开源旗下的人工智能(AI)硬件。
Facebook工程师Kevin Lee和Serkan Piantino周四在博客中强调表示,该款全新的开源AI硬件比市面上现成的产品更加有效和灵活,因为这些服务器在数据中心内可基于开放计算项目标准运行。
Lee和Piantino做了如下的解释,“许多高性能计算系统运行时需要特殊冷却设施和其他独特的基础设施,我们对新的服务器在散热和电源效率方面进行了优化,因此这些服务器可以在我们以室外空气制冷的开放计算标准数据中心里运行。”
该款新一代硬件代号为“Big Sur”,是专为训练神经网络设计的。该技术除了与AI有关系外,通常也与机器学习或深度学习有关。
芯片制造商Nvidia在过去一年里也加大了推出深度学习产品组合的力度,两家公司因而在这个项目上联手,该项目涉及到不少有待解决的东西。
Facebook号称是第一家采用Nvidia上个月推出的的Tesla M40 GPU加速器的公司。威力强大的GPU M40主要用于部署深层神经网络,是驱动Big Sur 平台和开放式机架兼容硬件的关键。
有了M40的底气,Facebook工程师称Big Sur 的速度是Facebook老产品的两倍,具有很大潜力,能够以两倍的速度训练大一倍的神经网络。
Nvidia公司还强调,在Facebook向开放计算项目提交了设计资料后,Big Sur将成为第一个为机器学习和人工智能研究开发的计算系统。
Facebook全球用户基础继续增长(截止9月30日已经达到15.5亿的月活跃用户),因而收集到的数据不断增加,从中获取的信息也可能不断膨胀。
社交媒体巨头Facebook似乎充分利用了这一点,旗下的人工智能研究小组(FAIR)计划增加GPU硬件的投资达两倍之多,旨在将机器学习技术扩展到旗下更多的产品里。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。