Pensando是一家由前思科高管创立的初创公司,今天该公司走出隐形模式,获得了2亿多美元的资金,并推出了一款定制芯片,该芯片承诺将为企业的本地服务器提供强大动力。
早在业界甚至都还不知道它是做什么的之前,Pensando就已经备受关注,部分原因来自于该公司的领导层,包括了首席执行官和思科前高级副总裁Prem Jain,以及来自思科的其他三名资深人士:Mario Mazzola、Luca Cafiero和Soni Jiandani。他们之前创立的初创公司被思科以8.63亿美元的价格收购。
Pensando设计的是一种数据中心芯片,专门用于优化对网络管理、安全和数据存储相关计算任务的处理。Pensando把这种芯片作为加速器卡的一个组成部分,加速卡可以插入服务器,并从主处理器上分担这些任务。据Pensando称,这样可以让CPU的利用率降低20%到40%。
释放出周期有助于大大提高效率。数据中心服务器可以利用这些额外的计算力去处理更多的工作负载。此外,Pensando的硬件接管了网络、安全和存储管理方面的繁重工作,从而不再需要企业以前所使用的昂贵设备。
Pensando围绕自己的芯片技术构建了一套完整的产品,包括两款加速卡即Naples 100和Naples 25,以及一款名为Venice的系统,该系统可使管理员集中管理部署。
目前已经有多家财富500强企业的数据中心采用了Pensando的硬件,其中高盛集团(Goldman Sachs Group Inc.)既是Pensando的客户也是投资方。Pensando在两轮融资中获得了1.33亿美元的资金,目前正在进行第三轮融资的规模预计最高可达到1.45亿美元,使得Pensando的估值高达6.45亿美元。
Pensando并不是唯一一家希望利用定制芯片来撼动数据中心市场并且资金雄厚的初创公司。总部位于美国加州圣克拉拉的Fungible公司最近凭借自己的数据处理器技术获得了2亿美元资金,这种处理器可以分担服务器CPU的处理器密集型网络任务。Fungible的领导层与Pensando团队有着相似的背景:首席执行官Pradeep Sindhu曾是瞻博公司的原始创始人之一。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。