人工智能产业爆发,正推动以GPU服务器为代表的AI服务器高速发展。但怎样的GPU服务器才能支持人工智能产业?对此,宁畅专家表示,具有“灵活拓扑”特征的GPU服务器将成未来主流。
宁畅信息产业(北京)有限公司(简称“宁畅”)是集研发、生产、部署、运维一体的服务器厂商,及IT系统解决方案提供商。宁畅可结合用户需求,提供全方位深入定制化服务。
近日,国际知名数据公司发布《人工智能基础架构市场(2019下半年)跟踪》报告显示,2019年人工智能基础架构市场规模已达20.9亿美元,其中GPU服务器占据96.1%。而伴随“新基建”的发展,该数据公司预测到2024年中国GPU服务器市场规模将达64亿美元。
人工智产品井喷,落地场景多样,这对计算力提出更加强劲需求,对GPU服务器性能与稳定性提出挑战。“更重要的,GPU服务器需具有灵活多变,适应不同AI任务需求的布局能力。”宁畅专家、GPU服务器资深架构师介绍。
在性能与灵活性方面,以宁畅X640系列服务器产品为例,该系列产品完全采用自研设计,设计时考虑了GPU的灵活应用,针对不同需求灵活调整拓扑。在进行模型训练时,根据需要可安装最高8颗全高双宽高速GPU,并支持GPU之间通过P2P模式互联;在用来做推理计算时,同一台机器又可支持到最大16颗低功耗推理GPU,并为每颗GPU均衡配备CPU资源。灵活可变的配置使硬件能够针对客户应用快速切换,针对不同计算模型最大限度的发挥硬件资源。
此外,宁畅的所有GPU服务器均由公司内拥有十几年经验的软件,硬件工程师团队设计拥有IP,这保证了宁畅能够根据客户需求快速定制开发。
而要实现GPU服务器的“灵活拓扑”,则需按照用户需求提供深入定制。
宁畅作为精细定制服务器专家,在CDSPD产品开发模型基础上,可为“尊享定制CLUB”会员等广大客户,提供四维一体客户服务体系,包含专职服务器产品、开发、项目与服务经理团队,以及最新技术开放、联合实验室Pass卡等专属服务资源。这将降低用户GPU服务器的TCO(总体拥有成本)10%以上。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。