虽然Arm架构在服务器领域异军突起,但x86仍然“非常重要”
在本周于Computex 2022大会上亮相的参考服务器系统当中,我们看到了英伟达Grace CPU与Hooper Superchips的身影,据悉两款芯片都将于明年年初与服务器产品一同出货。
希望这些Arm兼容型HGX设计方案能够顺利落地,为英伟达宣传称“总值达5000亿美元”的机器学习、数字孪生模拟和云游戏应用等业务提供动力。
英伟达产品管理与营销高级总监Paresh Kharya在新闻发布会上表示,“这种转变要求我们从各个层面重新构想数据中心,包括硬件、软件、芯片、基础设施乃至整体系统。”
全部四种参考系统均将由今年英伟达春季GTC大会上公布的Arm兼容型Grace CPU和Grace-Hopper Superchips提供支持。
其中Grace Superchip是将两块Grace CPU裸片通过900 GB/秒NVLink-C2C互连技术接入同一基板,由此提供144个CPU核心和1 TB/秒内存带宽,总功率为500瓦。Grace-Hopper则将其中一个CPU芯片替换成H100 GPU芯片,同样经由NVLink-C2C实现与CPU直接连通。
HGX家族的这些最新产品,无疑是英伟达为专注于计算密度的大型HPC部署需求的直接回应。其中一套参考设计,即2U HGX Grace-Hopper刀片节点,使用的就是512 GB LPDDR5x DRAM加80 GB HBM3内存、再加Grace-Hopper Superchip的强劲组合。
对于未针对GPU加速做出优化的计算工作负载,英伟达还提供1U GHX Grace刀片服务器。它是将Grace-Hopper Superchip替换成了拥有1 TB LPDDR5x内存的纯CPU模块。用户可以在单一机架内接入两个HGX Grace-Hopper或者四个HGX Grace节点。
Kharya表示,“通过这些HGX参考系统,英伟达还将为OEM制造商提供Grace-Hopper和Grace CPU Superchip模块,以及相应的PCB参考设计。”
英伟达的六家合作伙伴供应商——华硕、富士康、技嘉、QCT、Supermicro和纬颖——都有计划根据参考系统设计自家产品,首批出货预计在明年年初。
除了HGX,英伟达还分别推出了面向云游戏和数字孪生模拟的CGX和OVX两款新型参考设计。
这两种设计均使用Grace Superchip CPU配合多种基于PCIe接口的GPU,其中也包括英伟达的A16。
四套系统的网络均由英伟达BlueField-3负责提供,而且据我们得到的消息,英伟达还计划为基于Grace-Hopper的系统提供NVLink连接,借此建立起跨节点GPU内存池。
不过面对英伟达计划于明年初商业发布的这些高端Arm CPU,Kharya仍然强调并不打算在短期内彻底放弃x86。
他解释道,“x86是一类非常重要的CPU,几乎占据着当前英伟达GPU产品所处的全部市场空间。我们将继续同步支持x86和基于Arm架构的CPU,为客户乃至市场提供适合一切使用场景的加速计算选项。”
除了以HPC为重点的参考设计方案之外,英伟达还提到,有30多家合作伙伴供应商已经在边缘和嵌入式应用(包括AI推理)系统中广泛部署了其低功耗Jetson AGX Orin平台。
同样发布于今年春季GTC大会的60瓦版Jetson Orin AGX开发套件,是一款基于英伟达Ampere系列GPU、拥有12个Cortex-A67AE核心的Arm CPU单片计算机。
英伟达边缘、AI与机器人业务部门产品管理总监Amit Goel在本周的新闻发布会上提到,“我们看到,在零售、农业、制造业、智慧城市、物流和医疗保健等大规模行业当中,机器人技术与边缘AI用例的发展势头都相当强劲。出于延迟、带宽或数据主权等考量,这些应用都只能运行在边缘位置。而英伟达Jetson已经成为这些应用场景的首选平台。”
为了满足对于Jetson平台不断增长的市场需求,英伟达还公布了四次设计迭代,包括即将于今年7月和10月分别推出的8核32 GB与12核64 GB版本AGX Orin平台。英伟达还计划在9月和12月推出较为轻量化的Orin NX平台8 GB和16 GB版本。其中Orin NX平台继续沿用上代方案的SODIMM内存式边缘连接器。
英伟达宣称,目前已经有超过100万开发者、6000家公司和150家合作伙伴正基于这款低功耗AI边缘平台开发自家产品。
好文章,需要你的鼓励
大模型时代,玛丽·米克尔(Mary Meeker)的名字可能大家不一定熟悉,但是在互联网时代,这位被可被誉为“互联网女皇”的。她是美国风险投资家和前华尔街证券分析师,专注于互联网及新兴技术领域。玛丽·米克尔(Mary Meeker)发了一份340页的《人工智能趋势报告》,粗粗看了一下,并没有非常轰动的观点,但是数据比较全面
微软研究院推出的"基于最优奖励基线的在策略强化学习"(OPO)算法解决了大语言模型强化学习中的两大问题:训练不稳定和计算效率低。通过严格遵循在策略训练和引入理论最优奖励基线,OPO无需额外的辅助模型或复杂正则化项,就能实现更稳定的训练。在数学推理基准测试中,OPO不仅表现优异,还保持了更低的策略偏移和更高的输出多样性。这项研究证明,有时最有效的解决方案不是增加复杂性,而是回归基础原则并进行深入的理论思考。
毫无疑问,Agent,也就是智能体已经预定了今年的最火AI关键词。不知道明年会不会是AGI呢,既然OpenAI和Anthropic的预测都是在2027年左右。而在Agent领域,非常有发言权的一位就是吴恩达。LangChain前不久的开发者活动Interrupt上,LangChain创始人Harrison Chase邀请了吴恩达专门做了一场对话
SWE-bench-Live是微软与上海人工智能实验室联合开发的持续更新基准测试平台,解决了现有代码修复评估工具的数据老化、覆盖有限和人工依赖问题。核心创新是REPOLAUNCH自动化流水线,能从GitHub抓取2024年后的1,319个真实问题,自动配置Docker环境。研究发现最先进的AI代码助手在该平台上的解决率仅为19.25%,远低于静态基准测试表现,尤其在处理多文件修改和大型代码库时存在明显局限。