10月22日,AI基准性能评测平台MLPerf官网显示,宁畅信息产业(北京)有限公司(以下简称“宁畅”)搭载NVIDIA T4_/A100 GPU卡的Nettrix X640 G30 AI服务器,在ResNet、BERT、DLRM等基准测试中取得30项世界第一成绩。
据报道,MLPerf是用于衡量AI、边缘计算等设备性能的基准测试平台,由云服务厂商、OEM厂商、大学、软件公司等超14个组织、50余家知名IT企业共同驱动。该基准测试包括可代表生产级别的测试用例,测试结果在行业内具有较高权威性。
同配置测试获16项世界第一
宁畅工程师介绍,参加MLPerf Inference(推理)基准测试的X640 G30 AI服务器,最高可支持10张NVIDIA A100 PCIe卡或21张NVIDIA T4 PCIe卡,堪称“性能猛兽”。
图说:宁畅人工智能服务器X640 G30
对比行业同配置AI服务器,X640 G30搭载四张A100 GPU卡的情况下,在Resnet50、SSD、RNN-T、BERT、DLRM等10项测试中分数值取得世界第一;搭载16张T4 GPU卡配置的情况下,X640 G30打破六项世界纪录,性能一骑绝尘。
图说:16卡配置X640 G30部分测试分数对比图
相同配置下取得第一的MLPerf分数,意味着X640 G30 在图像分类、目标检测、医学影像、翻译、推荐、自然语言处理等AI应用场景中有更好性能表现,可为用户带来多高价值。
将多卡性能发挥到极致
AI服务器所能支持异构计算GPU卡数量,是决定其AI吞吐量的首要因素。依托团队10余年行业经验,宁畅率先在4U标准机箱中实现21张GPU卡配置,将多GPU卡性能优势发挥到极致。
搭配21张T4 GPU卡的X640 G30,在图像分类、语义识别等众多AI基准测试中,超越搭配20张T4 GPU卡配置的服务器,测试分数斩获14项世界第一。
图说:21卡配置X640 G30 MLPerf测试成绩表
不仅多GPU卡的性能优越,在单GPU卡平均性能方面(单卡平均性能=整机测试结果/搭载GPU卡个数),横向比较13家服务器厂商提交MLPerf 的53个配置测试结果显示,X640 G30服务器平均单卡性能获得11项第一。
图说:X640 G30平均单卡测试分数对比
宁畅工程师表示,宁畅服务器不仅在MLPerf平台取得多项世界第一成绩,今年早先时候宁畅双路服务器R620 G30,曾在反映服务器性能的SPEC CPU2017测试中,刷新24项世界纪录。
世界纪录的背后,是宁畅工程师为用户提供更优性价比产品,将CPU、GPU等服务器核心部件性能发挥到极致,所做的不懈努力。通过提供硬件、软件等定制化服务,宁畅服务器将有效降低用户TCO(总体拥有成本)。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
时尚零售巨头维多利亚的秘密因安全事件导致网站和线上订单服务中断,已立即启动应急响应、邀请第三方专家协助恢复运营,实体店仍正常营业。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。