Alexis Björlin博士
日前,Meta公司宣布聘请博通与英特尔资深专家Alexis Björlin博士担任基础设施硬件工程副总裁。她将直接向Meta资深专家与基础设施负责人Jason Taylor报告。在这次看似平常的招聘之下,又隐藏着怎样的潜台词?或者说,Meta公司为什么需要这样一位重量级业内专家来领导硬件工程?我们有幸与Taylor当面交流,聊聊他的招聘思路与Meta数据中心发展战略等话题。
Taylor首先解释道,Meta公司拥有自己一套独特的数据中心要求,这是为了满足公司极为复杂多样的业务诉求。Meta公司需要处理大量视频流,解决方案正是内部原创设计的视频转码芯片。只要用过Instagram或者Facebook,大家应该就能理解这些芯片的实际功用。
Meta公司还在大量运用计算机视觉、文本到语音、语言翻译等技术,而相关训练已经从CPU转移至英伟达GPU。Taylor也感谢了业界为这些工作负载提供的强大且高度匹配的芯片产品。
采访中Taylor还聊到另一个有趣的话题,即推荐引擎。相信大家已经在各大电子商务网站上体验过推荐引擎功能,我们只要查看或购买某些商品,这类引擎就会显示出我们可能感兴趣的其他相关商品。Netflix也提供类似的服务,比如在观看某段视频之后再推荐两三段相关视频。Meta旗下的Facebook与Instagram等项目也充分吸纳了推荐引擎的能力,并大量运用到机器学习技术作为加持。
Jason Taylor
根据Jason Taylor的介绍,Meta的芯片战略主要侧重于同AMD、博通、英特尔及英伟达等行业领先厂商的合作,而且这种思路在短期之内不会改变。Meta似乎也在与Marell开展合作。但面对当前相当惊人的工作负载多样性,特别是在AI等领域,Meta也迫切需要找到一条新的解决路径。具体来讲,Taylor主要关注负载在内存及网络带宽需求方面的快速增长,以及未来如何利用新的定制化芯片提供更强大的推荐功能。好在通过对人员、合作伙伴及内部芯片研发项目的大力资助,这些持续增长的需求正得到良好解决。
在某种意义上讲,这也正是Meta决定聘用Alexis Björlin博士的一大理由。Alexis Björlin博士的加入有望帮助Meta满足快速增长的数据中心需求,具体包括涉及CPU、GPU以及网络合作伙伴的通用芯片与定制化内部专用型处理器需求。与拥有强大半导体合作伙伴的苹果不同,Meta在这方面的储备相对偏弱,所以加大投资显然是正确的选择。Taylor在采访中也对此表示认同,相信他所言非虚。
很高兴看到Meta公司能够深下心来、为创造更多原研芯片而不懈努力。纵观过去十余年,我认为“芯片正在吞噬全世界”。期待看到Meta未来发布更多内部原研芯片,我们也将在Meta公布新消息后第一时间带来报道。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。