传统数据中心需要用钢筋混凝土构建"外壳"来保护内部昂贵的硬件设备。虽然与内部硬件和基础设施成本相比,建造数据中心外壳的成本并不高,但也不容忽视。工程师需要时间考察潜在地点、申请许可证并与建筑承包商协调。
对于那些希望快速部署AI硬件的企业来说,这是个问题。Duos Edge AI和LG CNS等公司因此采用了更加模块化的方法。他们使用预制的自包含式机箱,可以在几个月而非几年内完成部署。这些机箱可以单独运行,也可以与其他机箱协同工作,提供按需增加的选择。
"我刚从英伟达的GTC大会回来,许多公司都因为数据中心未准备就绪或找不到空间而推迟了部署,"Duos Edge AI首席执行官Doug Recker说道。"我们看到了这种需求,而我们可以更快地部署。"
Duos Edge AI的模块化计算舱长55英尺、宽12.5英尺。虽然看起来像集装箱,但实际上更大一些,主要设计用于卡车运输。每个计算舱包含多个GPU机架,与其他数据中心使用的类似。Duos最近与AI基础设施公司Hydra Host达成协议,部署四个计算舱,每个舱配备576个GPU,总计2304个GPU,后续可选择将部署规模扩大到4608个GPU。
模块化数据中心对Duos来说并不新鲜,该公司此前曾为德克萨斯州阿马里洛学区等农村客户部署边缘数据中心。不过,用于Hydra Host部署的计算舱将升级以处理更密集的AI工作负载。它们将包含更多机架、消耗更多电力,并使用液冷技术保持GPU高效运行。
在太平洋彼岸,韩国科技巨头LG也采用了类似方法。该公司的CNS子公司提供IT基础设施和服务,已宣布推出AI模块化数据中心,与Duos的产品类似,在预制机柜中包含GPU机架和支持硬件。
与Duos的部署一样,LG的AI模块化数据中心包含576个英伟达GPU,未来可选择扩展。"我们目前正在开发一个扩展版本,可在单个单元内支持超过4600个GPU,计划在今年内推出服务,"LG CNS数据中心业务部副总裁兼负责人Heon Hyeock Cho表示。LG的首个模块化数据中心将在韩国港口城市釜山推出,可部署多达50个单元。
LG和Duos并非独家。惠普企业、Vertiv和施耐德电气现在都有可用或正在开发的模块化数据中心。市场研究公司Grand View Research的报告估计,模块化数据中心市场到2030年可能增长一倍以上。
模块化数据中心场地与传统数据中心截然不同,因为无需建造大型钢筋混凝土外壳。相反,只需浇筑混凝土垫层即可完成场地准备。预制模块通过卡车运送,放置在所需位置的垫层上,然后在现场联网。
例如,Duos的部署包括与计算舱并排放置的电源模块,计算舱之间通过冗余光纤连接进行联网,使计算舱能够协同运行。Recker将其比作在停车场排列校车。"所有组件都在工厂预制,我们可以像拼图一样将它们组装起来,"他说。
简便性正是关键所在。Duos和LG CNS都预计模块化数据中心可在约六个月内部署完成,而传统数据中心大约需要两到三年。Recker表示,对Duos来说,周转时间如此之快,以至于建造预制单元并不总是制约因素。虽然可能在60或90天内建造预制单元,但场地准备延长了时间线,"因为无法如此快速获得许可证"。
模块化数据中心也可能提供良好的价值。Recker表示,一个5兆瓦的模块化部署可以约2500万美元建成,Duos的每兆瓦成本大约是大型设施收费的一半。对Duos来说,节省成本部分归因于其模块化数据中心可以针对许可更简单的较小部署。较小的模块化部署也遇到来自地方政府的阻力较少,地方政府对数据中心建设日益持怀疑态度。
虽然Duos针对较小部署,但LG希望做大。其计划中的釜山园区包含50个AI模块化数据中心,显示了实现与传统设施容量相匹敌的部署的雄心。拥有50个单元的场地将使GPU总数超过28000个。在这里,模块化方法的好处主要来自可扩展性,因为模块化数据中心可以从小规模开始,根据需要增长。
"通过采用模块化方法,AI模块化数据中心可以通过数十个AI机箱的组合实现增量扩展,"Cho说道。"这使得构建甚至超大规模级别的AI数据中心成为可能。"
Q&A
Q1:模块化AI数据中心与传统数据中心有什么区别?
A:模块化AI数据中心使用预制的自包含式机箱,无需建造钢筋混凝土外壳,只需浇筑混凝土垫层。可通过卡车运输,在现场组装联网。部署时间从传统的2-3年缩短到约6个月,成本约为传统大型设施的一半。
Q2:这种模块化数据中心的规模有多大?
A:目前单个模块通常包含576个英伟达GPU。Duos的计算舱长55英尺、宽12.5英尺。LG正在开发可支持超过4600个GPU的扩展版本,釜山园区计划部署50个单元,总计超过28000个GPU,达到超大规模级别。
Q3:哪些公司在发展模块化数据中心技术?
A:目前主要包括Duos Edge AI、LG CNS等公司。此外,惠普企业、Vertiv和施耐德电气也有可用或正在开发的模块化数据中心产品。市场研究显示,该市场到2030年可能增长一倍以上。
好文章,需要你的鼓励
OpenAI在与多家新闻机构的版权诉讼中陷入困境。以《纽约时报》为首的原告指控OpenAI在长达两年时间里向法庭撒谎,刻意隐瞒其已对ChatGPT日志进行大规模搜索的事实。据悉,OpenAI实际上已拥有包含1000万和7800万条记录的日志样本,并曾用于研究版权内容过滤器,却对外声称无法进行此类搜索。原告据此提出制裁动议,要求法院追责。OpenAI则否认相关指控,坚称其立场基于合理使用原则。
斯坦福与UC伯克利提出LLM-as-a-Verifier框架,通过提取AI模型内部概率分布生成连续评分,在代码、机器人、医疗领域均达到最优性能,且无需额外训练。
美国加州大学圣地亚哥分校研究团队在《自然》期刊发表研究成果:外科医生通过远程操控宇树G1仿人机器人,成功完成两例活体猪胆囊切除手术,创下全球首例。与造价数十至数百万美元的达芬奇手术机器人相比,仿人机器人成本更低、体积更小,未来有望部署于农村、战地乃至太空等资源匮乏的医疗场景。但目前仍存在需频繁重新校准、机械臂活动范围受限等挑战。
字节跳动Seed团队发现AI智能体在真实环境中学习的进步曲线精确遵循对数S形规律,R?达0.998,且前沿模型的学习速度每三个月翻倍。