Kaleao是一家开发基于ARM服务器和超融合设备的初创公司,其品牌为KMAX。Kaleao的营销资料说公司拥有“真融合”的方法、它涉及到“实体化”以及旗下已推出的“Microvisor”,都是什么意思呢?
KMAX产品的形式有服务器和应用设备两种。
服务器用的是64位兼容ARMv8的CPU(中心处理器)并采用big.LITLE架构,所谓的big.LITLE架构是指ARM的CPU分层形式用了一个或多个用于处理繁重工作负载的强壮内核以及用于处理其他工作的较轻量级内核(因而无需太大的功率)。
另外还用到可编程逻辑芯片FPGA,Kaleao称,用到的FPGA“可以创建虚拟功能网卡,用作实际PCI设备。每个虚拟机可以直接将独特的虚拟功能映射为PCI设备,因此每个虚拟机都有可以像虚拟资源一样动态地改变真正的硬件资源。”
什么是“真融合”呢?Kaleao如是说:“传统融合系统是预先整合的存储、服务器和网络设备组件,通常是将分离的设备合在一起后交付。真融合技术可在原生的、板层次上融合。真融合下的任何设备都可以是计算、存储和网络服务器或与其对应的功能。”
实体化涉及到软件定义、硬件加速资源,像上面的虚拟网卡一样。下面的示意图将传统服务器架构与KMAX做了一个对比:
原理图:Kaleao含全局计算、网络和存储池
服务器功能含计算、存储和网络。
计算单元包括:
· 4个ARM Cortex-A57内核
· 4个ARM Cortex-A53内核(因此总有八个内核)
· 4GB LPDDR4 25GB/秒DRAM
· 128GB NV 缓存
· 20Gb/秒的IO带宽
· OpenStack Nova计算
· 资源管理器
· Microvisor
消耗的功率不到15瓦,Kaleao不停地拿省电说事。
存储单元涵括了一计算单元和存储资源管理器、NVMe SSD(PCIe Gen 2x4)外加500GB、1TB、2TB、4TB或7.68TB容量以及OpenStack Cinder。
网络单元也是基于一计算单元与网络资源管理器、2个10GbiteE频道OpenStack NEUTRON,采用的刀片含一嵌入式10/40 Gbit交换开关和2个 40/10Gbit QSFP端口。
从单元到节点、刀片和底盘到机架的部署用的是等级架构。机架颇大。计算、存储和网络单元都可以部署在节点里(3-4 个服务器(计算单元)乃至7.7TB NVMe SSD(存储单元)和2个10GbitE(网络单元))。
一个刀片可容4个节点。一个3U机箱可容12个刀片,Kaleao表示12个刀片可容192个服务器、1532内核、高至370TB NVMe SSD、48个40GbitE(960 Gbit/s),由外部48伏电源提供的功率小于3千瓦。这些机箱可以装在一个机架里,提供的计算能力达21000多个内核、大于5PB的闪存存储、网络带宽超过13000 Gbit/s。机架式液体冷却是可选项。
KMAX服务器版基本上是3U机箱外带IPMI 2.0、网络版界面和命令行(CLI)界面和软件虚拟化资源。KMAX应用设备版(Appliance Edition)则是服务器版加超融合软件:
· 无限“物理化”资源
· 基于模板的应用程序和服务部署
· 软件定义网络功能
· 软件定义分布式存储
· 嵌入式OpenStack控制器或API
· 业务流程和管理工具
· 支持多租户
· 中心式管理
Kaleao表示,公司采用无工场经营模式、对硬件和软件生产完全控制的模式,并采用研发控制保留策略。在同一机架空间的条件,旗下的KMAX产品性能高过x86机架、刀片和超融合产品 10倍之多,而CAPEX则低3-5倍,能量效率大4倍。
Kaleao认为KMAX对于内容交付和存储、网站托管,数据分析、物联网元件等有颇大的意义,另外KMAX亦将在通信基础架构和相应的企业IT架构方面产生影响,这些企业正在考虑从现有的基础架构迁移到基于ARM、OpenStack的基础架构里。
上述种种,非常有价值,但能否腾飞呢?笔者认为腾飞往往需要很长的跑道。各位读者以为如何?
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。