Alexis Björlin博士
日前,Meta公司宣布聘请博通与英特尔资深专家Alexis Björlin博士担任基础设施硬件工程副总裁。她将直接向Meta资深专家与基础设施负责人Jason Taylor报告。在这次看似平常的招聘之下,又隐藏着怎样的潜台词?或者说,Meta公司为什么需要这样一位重量级业内专家来领导硬件工程?我们有幸与Taylor当面交流,聊聊他的招聘思路与Meta数据中心发展战略等话题。
Taylor首先解释道,Meta公司拥有自己一套独特的数据中心要求,这是为了满足公司极为复杂多样的业务诉求。Meta公司需要处理大量视频流,解决方案正是内部原创设计的视频转码芯片。只要用过Instagram或者Facebook,大家应该就能理解这些芯片的实际功用。
Meta公司还在大量运用计算机视觉、文本到语音、语言翻译等技术,而相关训练已经从CPU转移至英伟达GPU。Taylor也感谢了业界为这些工作负载提供的强大且高度匹配的芯片产品。
采访中Taylor还聊到另一个有趣的话题,即推荐引擎。相信大家已经在各大电子商务网站上体验过推荐引擎功能,我们只要查看或购买某些商品,这类引擎就会显示出我们可能感兴趣的其他相关商品。Netflix也提供类似的服务,比如在观看某段视频之后再推荐两三段相关视频。Meta旗下的Facebook与Instagram等项目也充分吸纳了推荐引擎的能力,并大量运用到机器学习技术作为加持。
Jason Taylor
根据Jason Taylor的介绍,Meta的芯片战略主要侧重于同AMD、博通、英特尔及英伟达等行业领先厂商的合作,而且这种思路在短期之内不会改变。Meta似乎也在与Marell开展合作。但面对当前相当惊人的工作负载多样性,特别是在AI等领域,Meta也迫切需要找到一条新的解决路径。具体来讲,Taylor主要关注负载在内存及网络带宽需求方面的快速增长,以及未来如何利用新的定制化芯片提供更强大的推荐功能。好在通过对人员、合作伙伴及内部芯片研发项目的大力资助,这些持续增长的需求正得到良好解决。
在某种意义上讲,这也正是Meta决定聘用Alexis Björlin博士的一大理由。Alexis Björlin博士的加入有望帮助Meta满足快速增长的数据中心需求,具体包括涉及CPU、GPU以及网络合作伙伴的通用芯片与定制化内部专用型处理器需求。与拥有强大半导体合作伙伴的苹果不同,Meta在这方面的储备相对偏弱,所以加大投资显然是正确的选择。Taylor在采访中也对此表示认同,相信他所言非虚。
很高兴看到Meta公司能够深下心来、为创造更多原研芯片而不懈努力。纵观过去十余年,我认为“芯片正在吞噬全世界”。期待看到Meta未来发布更多内部原研芯片,我们也将在Meta公布新消息后第一时间带来报道。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。