有一家初创公司的负责人表示,高端处理器和加速器应该被作为一项服务进行售卖。他还提到了一种出现在互联网边缘的小型数据中心,以及来自Open19 Foundation的规范。
Packet是一家提供运行在自有数据中心内的服务的初创公司,该公司创始人、首席执行官Zac Smith表示,“我们再次迎来了芯片的黄金时代......我们看到很多硬件创新正在发生,”这是个好消息。
但坏消息是,“企业不想购买硬件,他们甚至不想堆叠英特尔CPU,更不用说那些他们没有试过的东西。”他成立的第一家初创公司名为Voxel,该公司在帮助那些基础设施即服务领域的先驱公司的同时,也与亚马逊AWS进行合作。
Voxel在2011年被收购。Smith新打造的初创公司Packet则是专注于满足各种需求和特殊要求——特别是在机器学习等新兴领域——的中小型客户。
如今,很多企业越来越多地由千禧一代经营着,他们自己“并不想拥有一辆汽车或者一所房子,所以他们可能也不想购买一个会在未来18个月贬值的AI加速器。”相反,他们想要有一种芯片即服务,可以像消费产品一样不断升级换代。
AWS和谷歌等公有云巨头半导体公司带来了挑战。他表示,“大多数公司把他们所有资金都用在了研发上,然后却遇到了分销问题”,因为传统上使用的参考设计和OEM渠道对于公有云提供商和用户来说,不仅速度太慢,而且不够灵活。
云服务——包括第二梯队的数据中心运营商,例如Equinix和Packet——代表了一个新的分销渠道,产品上市时间进一步缩短。“目前,硬件虽然不用像软件那样快速迭代,但硬件要能够做到这一点,”Smith说。
云巨头已经开创了芯片即服务的先河。AWS提供了越来越多基于FPGA、GPU、x86以及自定义芯片的各种服务。
到目前为止,Packet已经在成立三年半的时间里,从戴尔、三星和软银等公司那里筹集了4000万美元的风险资金。如今,Packet为近800家客户运行着19个数据中心,但只有大约100名员工。
在网络边缘“播种”小型数据中心
Packet正在探索的另一个增长领域,是位于网络边缘的中小型数据中心。
AT&T等电信公司也计划构建这种数据中心网络,以改善和扩展自己向城区的服务,一部分是通过在本地更多地匹配Netflix等内容供应商来实现的。但是Smith说,到目前为止,有很多专注于向重点领域提供特定应用的公司走在了前沿。
作为其90天边缘访问计划的一部分,Packet在今年3月份发布了3个站点,与40家客户一起做概念测试,包括Sprint和Federated Wireless。他说:“我们还处于培养皿阶段,目标是向客户学习。”
他补充说:“这就像云计算的早期阶段一样,”在云计算初期,亚马逊、Voxel和其他一些公司提供了各式服务,他们从客户那里学到他们想要的东西,并且会为此付费。
目前的重点是小范围地展示他们能够快速提供地理位置服务的能力。他表示:“如果没有人知道这种商业模式,那么大规模推出这种方法并且做错了的话,代价是很大的。”
“我们还在与芯片公司合作,让他们更贴近客户及他们的需求。如果新的边缘模型在90天内将你带入100个城市,那么你就可以轻松添加新的技术功能了。”
另外,Open19 Foundation也正式推出了第一个针对使用标准19英寸机架中小型数据中心的规范,包括特有的电源架设计和简化的布线系统,面向那些一个月可能要采购几十台或几百台服务器的公司。
Smith说,使用该规范的早期版本,“我用不到1万美元就部署了无服务器的多个机架,随后轻松地添加服务器,将部署时间从数月缩短到数个小时”,减少用于支付给布线专家(每小时收费300美元)的费用。
这个消息是在开放计算项目(OCP)年度峰会召开前两天发布的。OCP为数据中心巨头们规定了各种系统外形尺寸。Apple、Facebook、谷歌和微软等OCP成员都可以推出他们自己的规范,他们通常会购买数千台所谓的L11系统、预配置的服务器和交换机机架。
作为Open19基金会成员之一,Smith表示,该组织的下一个重要举措是在5月即将举办的活动上展示基于该组织规范的商业产品,以及公布这些产品的客户名单。OCP的各项活动已经吸引了很多希望可以赢得网络巨头青睐的厂商,这些巨头们每个月可能要部署数千台服务器。
Open19的下一步就是研究针对液体冷却子系统的规范,以及加强网络规格以支持八个光学通道。一些成员企业已经开始研究“水冷却的简化设计,现在这种设计成本极高且非常复杂,并且不是必需的”。
Smith希望第一批规范和系统将吸引更多成员加入Open19。他说:“今年是把范围扩大到早期采用者之外,我们的挑战就是要跨越这个鸿沟。”
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。