英伟达已获得推理芯片设计公司Groq的知识产权授权,并聘用了其部分高级管理人员,但并未进行完全收购。
英伟达发言人在周二通过电子邮件表示:"我们已获得Groq知识产权的非独家授权,并聘用了Groq团队的工程人才加入我们,共同致力于提供世界领先的加速计算技术。"不过他强调:"我们并未收购Groq。"
Groq专门设计和销售针对AI推理优化的芯片。这些被Groq称为语言处理单元(LPU)的芯片,相比英伟达设计销售的GPU具有更低功耗和更低价格特点。英伟达的GPU目前主要用于训练AI模型。随着AI市场的成熟,使用需求从创建AI工具转向使用AI工具,对推理优化设备的需求可能会增长。
Groq还通过名为GroqCloud的推理即服务业务出租其芯片。
Groq于12月24日宣布了这项交易和高管变动,表示"已与英伟达就Groq的推理技术达成非独家授权协议",作为协议的一部分,"Groq创始人Jonathan Ross、总裁Sunny Madra以及Groq团队的其他成员将加入英伟达,帮助推进和扩展授权技术。"
据TechCrunch报道,这项交易价值可能高达200亿美元。
AI应用芯片供应链存在紧张局面,英伟达首席财务官在最近的财报电话会议中报告称,其部分芯片已"售罄"或"完全利用"。分析师认为,造成这种情况的因素之一是高带宽内存短缺。让AI运营减少对稀缺内存芯片的依赖,正成为AI供应商和企业买家的关键目标。
Groq芯片设计与英伟达之间的显著差异在于各自使用的内存类型。英伟达最快的芯片设计用于搭配高带宽内存,由于生产能力有限和AI相关应用需求上升,高带宽内存价格如同其他快速内存技术一样正在飙升。而Groq则将静态RAM集成到其芯片设计中。公司表示,SRAM比竞争芯片技术使用的动态RAM更快、更节能,另一个优势是它不像其他地方使用的高带宽内存或DDR5 DRAM那样稀缺。授权Groq的技术为英伟达多元化内存采购开辟了道路。
通过将与Groq的关系构建为知识产权授权交易,并聘用最感兴趣的工程师而非收购其雇主,英伟达避免了接手GroqCloud服务业务。据报道,英伟达正在退出自己的服务业务DGX cloud,并将其重组为内部工程服务。这也可能避免完全收购所带来的大部分反垄断审查。
英伟达未回应关于所聘用前Groq高管姓名和职务的询问。
然而,根据LinkedIn资料显示,Groq创始人Jonathan Ross现在是英伟达的首席软件架构师,而Groq前总裁Sunny Madra现在是英伟达的硬件副总裁。
Groq剩余业务将由Simon Edwards负责运营,他此前担任销售自动化软件供应商Conga的首席财务官,三个月前刚加入Groq担任首席财务官。
Q&A
Q1:英伟达为什么要授权Groq的推理芯片技术?
A:英伟达通过授权Groq技术来多元化内存采购。Groq芯片使用静态RAM而非高带宽内存,可以缓解当前AI芯片供应链中高带宽内存短缺的问题,同时获得更快速、更节能的推理处理能力。
Q2:这项交易对英伟达有什么好处?
A:英伟达避免了完全收购带来的反垄断审查,不需要接手GroqCloud服务业务,同时获得了Groq的推理技术和核心工程人才,能够在AI市场从训练转向推理应用的趋势中保持竞争优势。
Q3:Groq的LPU芯片与英伟达GPU有什么区别?
A:Groq的语言处理单元(LPU)专门针对AI推理优化,功耗更低、价格更低,使用静态RAM。而英伟达GPU主要用于AI模型训练,使用高带宽内存,功耗和价格都更高。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。