人工智能产业风发泉涌,人工智能的推理计算正在惠及人类生产生活的方方面面。顾客正在智能超市中“刷脸”支付,医生们正用视觉模式识别和检测皮肤癌;无数摄像头组成的“城市大脑”正在指挥交通、检测和抓捕暴力、追捕罪犯、预报火警等……这些场景都运用了AI推理。同时,随着庞大的机器学习系统带来算法训练的大规模应用,AI推理处理需求正在急剧增长,宝德服务器应运而生,基于最新的英特尔至强处理器可扩展系列,可选采用英特尔FPGA芯片和傲腾内存,以高集成度的设计在有限空间内带来强劲的计算性能,并支撑推理应用的顺畅运行。今天我们就来详细介绍一下宝德AI推理服务器之PR2710P。
宝德PR2710P是宝德公司最新推出的一款2U服务器产品,它采用Intel C620系列高性能芯片组,最大支持2颗28核英特尔至强可扩展系列处理器8276M,可提供强大的计算能力,帮助用户应对较重的计算压力。PR2710P支持英特尔通信加速技术和英特尔高级矢量扩展指令集,配有12个内存通道,16个内存DIMM槽,最大支持2TB 2933MHz/DDR4。
外观与内观介绍:
▲宝德服务器PR2710P前面板特写
该机型最多支持内存容量2TB,默认支持8块热插拔3.5寸硬盘,可选支持12盘/24盘版本,并可选扩展全高全长的PCI-E设备,高集成度的设计在有限空间内带来强劲的性能表现足以支撑关键任务的运行。PR2710P提供先进的管理功能和存储技术,具有可靠的可扩充性和高可用性,它默认支持3个扩展槽,可选增加为6个扩展槽,给用户提供灵活的连接选配件。
▲宝德服务器PR2710P后面板特写
PR2710P最大支持12个3.5“和2个2.5”热插拔SATA/SAS/SSD硬盘或26个2.5寸SATA/SAS/SSD热插拔硬盘,可选支持高可靠性RAID5,提高数据处理和数据保护功能。
▲宝德服务器PR2710P内部特写
▲宝德服务器PR2710P内部特写
处理器位于黑色挡板下方,轻轻拿掉,便可露出处理器与内存板块,提供2颗处理器及16个DIMM插槽。据官网介绍,宝德PR2710P服务器最大支持2TB内存扩展,最高频率为2933MHz DDR4 RDIMM内存,并支持英特尔最新傲腾数据中心级持久内存。
同时,在左侧风扇模块上,宝德PR2710P服务器提供了6个冗余风扇,并且均支持热插拔设计。
此外,在PCIE扩展上,自强PR2710P提供3个PCI-E3.0标准插槽,1个OCP专用插槽,同样为PCI-E3.0。其中,3个PCI-E3.0插槽中,一个为半高PCI-E3.0x16插槽,一个为半高PCI-E3.0x8插槽。同时,据官网描述,自强PR2710P最多支持6个 PCI-E3.0标准插槽。
PR2710P采用智能散热系统,有效降低噪音污染,营造箱体恒温空间;全屏蔽防电磁辐射,抗干扰,防静电(EMI)设计;支持英特尔通信加速技术提供安全的高性能和加速的压缩实现网络,云服务和存储功能为虚拟和云环境提供了可靠的保护。
在低功耗方面PR2710P也有很好的表现,支持降频功能,可在低负载时降低系统能耗;支持PDCM(能效管理器)提供自动化服务器功耗控制,有助于以更少的资源完成更多任务;还可以根据热关键器件温度综合调节风扇转速,节能的同时降低了噪音并提高风扇的可靠性。
对于性能方面的考察,我们主要分为子系统测试和应用性能测试。在子系统测试中我们按处理器、以及磁盘等各个子系统进行了分项测试,当然各子系统的测试成绩也是相辅相成,也需要其它子系统的支持,并非是完全独立的,只是对考察的子系统有所偏重而已。
▲处理器
▲缓存
▲主板
▲系统概述
▲中央处理器
▲CPU属性
▲主板
▲内存信息
AIDA64原名EVEREST,是专业测试硬件信息和系统信息的好工具,它针对系统硬件能查探的信息远比CPU-Z等专业硬件检测软件丰富,还支持硬件性能测试,可以得出内存读写速度、CPU超频速度、硬盘读写速度等信息。支持生成系统状态报告,即把所有的信息汇总为文档。
这是我们根据送测样机进行的内存性能测试。我们可以看到,内存读取的性能达到了238.68GB/s。
CineBench是基于Cinem4D工业三维设计软件引擎的测试软件,用来测试对象在进行三维设计时的性能,它可以同时测试处理器子系统、内存子系统以及显示子系统,我们的平台偏向于服务器多一些,因此就只有前两个的成绩具有意义。和大多数工业设计软件一样,CineBench可以完善地支持多核/多处理器,它的显示子系统测试基于OpenGL。
CineBench测试对于主频相当敏感,我们可以看到单核心的成绩有130cb,而在多核心中的成绩也则提升到了6354cb,超线程的虚拟核心比率为48.78x。
通过上述外观、内部设计及整体实际性能的综合测试,可以看到,宝德服务器PR2710P无论是在计算、内存、存储、网络各个模块均有明显提升。尤其在计算上,2颗旗舰级至强铂金8276M处理器的搭载使得宝德PR2710P性能在未来几年内均可为企业数字化转型提供源源不断的算力。全面、高效、灵活、稳定,这便是宝德服务器PR2710P。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。