ZD至顶网服务器频道 02月11日 编译:谷歌正在悄悄地打造与并行计算和网络有密切联系的处理器,在执行文件的补丁获得LLVM的接纳后,谷歌员工的工作则轻松了许多,因为这将简化维持主体工具链代码的更新过程。
该款名为"Lanai"的处理器内核比较简单,它更多地像是一个装备齐全的微控制器,不太可能运行计算工作负载。但它可能成为一个大规模并行计算机的构建块。
Lanai是个简单的32位级的处理器,有32个32位寄存器,包括:两个固定值寄存器(一个很可能是零);四个状态寄存器,包括程序计数器、堆栈指针和帧指针;并且预留了两个寄存器做线程支持用。Lanai并没有浮点硬件,所以玩不转涉及太多数学的东西。
谷歌软件工程师雅克•皮纳尔(Jacques Pienaar)表示,Lanai的设计蓝图是从教科书《并行计算机系统结构:硬件/软件方法》得到的,该书介绍了如何构建有效率、而同时又能并行处理大量数据的机器。
我们曾听说过谷歌在机器学习系统里在一定程度上用了定制的Nvidia芯片。网络巨头谷歌也在旗下数据中心拿ARM和POWER架构做了些实验性的设计,而且也在玩RISC-V。可以说,我们知道谷歌在探索芯片设计领域;但在公开场合看到谷歌的这样做倒是有点令人惊讶。
Google人士Chandler Carruth表示,“这是我们的内部硬件,所以没有很多可供分享的信息,别人也搞不到相关硬件的。我们在搞后端,有一堆后端要搞,各自为战不可取。尤其是如果有些东西可以在别的后端用上,或是几个后端需要用共同的基础架构,这样做测试起来容易些。“
近日提交的补丁包括:
• LLVM三重性
• Clang支持
• MCExpr和ELF
• Lanai后端(LIB /目标/ Lanai)
尽管源代码更新里没有提及供应商,但Google人士用的是Myricom的LANai链接器,这说明我们今天所见到的Lanai是Myri具有相同名字的高端网络控制器的定制衍生之物。Myricom的资产在2013年被马萨诸塞州的CSPi收购,CSPi主打为数据中心构建超大规模云,以及为数据中心构建超级融合计算和存储硬件。
谷歌的Lanai很可能是基于Myricom的设计,是个高度定制的可编程网络控制器。其目的是要在互联网巨头的数据中心的结构里里植入智能,也许是为了在旗下的服务器仓库里融入一个复杂的软件定义网络。
截止发稿都未能找到谷歌和CSPi的发言人对上述种种作出评论。
好文章,需要你的鼓励
CPU架构讨论常聚焦于不同指令集的竞争,但实际上在单一系统中使用多种CPU架构已成常态。x86、Arm和RISC-V各有优劣,AI技术的兴起更推动了对性能功耗比的极致需求。当前x86仍主导PC和服务器市场,Arm凭借庞大生态系统在移动和嵌入式领域领先,RISC-V作为开源架构展现巨大潜力。未来芯片设计将更多采用异构计算,多种架构协同工作成为趋势。
KAIST AI团队通过深入分析视频生成AI的内部机制,发现了负责交互理解的关键层,并开发出MATRIX框架来专门优化这些层。该技术通过语义定位对齐和语义传播对齐两个组件,显著提升了AI对"谁对谁做了什么"的理解能力,在交互准确性上提升约30%,为AI视频生成的实用化应用奠定了重要基础。
Vast Data与云计算公司CoreWeave签署了价值11.7亿美元的多年期软件许可协议,这标志着AI基础设施存储市场的重要转折点。该协议涵盖Vast Data的通用存储层及高级数据平台服务,将帮助CoreWeave提供更全面的AI服务。业内专家认为,随着AI集群规模不断扩大,存储系统在AI基础设施中的占比可能从目前的1.9%提升至3-5%,未来五年全球AI存储市场规模将达到900亿至2000亿美元。
乔治亚理工学院和微软研究团队提出了NorMuon优化器,通过结合Muon的正交化技术与神经元级自适应学习率,在1.1B参数模型上实现了21.74%的训练效率提升。该方法同时保持了Muon的内存优势,相比Adam节省约50%内存使用量,并开发了高效的FSDP2分布式实现,为大规模AI模型训练提供了实用的优化方案。