DGX Spark上提升MoE推理性能的三种方法
NVIDIA发文介绍在DGX Spark上优化MoE推理的三项技术:Humming MXFP4 MoE内核替换、在线FP8量化LM Head以及基于NEXTN的多token投机解码。实测显示,三项优化组合后GSM8K解码...
NVIDIA发文介绍在DGX Spark上优化MoE推理的三项技术:Humming MXFP4 MoE内核替换、在线FP8量化LM Head以及基于NEXTN的多token投机解码。实测显示,三项优化组合后GSM8K解码...
NVIDIA推出AI工厂专用AIOps平台Minerva,通过动态知识图谱整合GPU、网络、存储及工作负载的全栈遥测数据,利用机器学习检测灰色故障,将大量关联告警压缩为单一事件,并通过AI智能体Sherlock支持自然语...
NVIDIA Mission Control 2.5 正式发布,将自主恢复引擎从 HPC/Slurm 工作负载扩展至基于 Kubernetes 的 AI 训练任务,支持硬件故障自动隔离、作业自动重启与调度,并新增 AI ...
STMicroelectronics将于2026年11月3日举办免费线上峰会STM32 Summit,议程涵盖物理AI战略方向、STM32新品发布及生态系统更新,NVIDIA等合作伙伴将出席分享,活动时长50分钟,可在L...
NVIDIA TensorRT 11.1推出的全局性能调优器(Global Performance Tuner)通过将编译器调度策略表示为可搜索的构建路由,实现自动化、精度感知的端到端性能调优。该功能提供超200个可调节...
NVIDIA TensorRT 11.1 新增 Global Performance Tuner,通过可定制化构建路由与精度感知调优,自动为不同模型选择最优编译策略,突破单一启发式调度方案的性能上限。
在GTC Berlin上,Revolut、Lloyds、Stripe等欧洲金融机构展示了基于NVIDIA加速计算与开源权重模型构建的生产级AI应用,涵盖交易基础模型、欺诈检测及语音识别,Stripe数据管道提速42倍,成...
NVIDIA扩展Cosmos平台,新增Cosmos Data Factory五项云原生蓝图、Cosmos 3 Nano仿真模型变体及更新版NIM微服务,推理速度最高提升2倍。保时捷、ANYbotics等企业已将其用于自动...
NVIDIA 发布 KvikIO Python API 教程,演示如何通过 GPUDirect Storage 将文件直接读入 GPU 内存,跳过 CPU 内存中转。文章详解 KvikIO 与 cuFile 的两级路径选...
NVIDIA在GTC Berlin宣布DGX Spark正式支持八节点集群配置,统一内存扩展至1TB,可运行GLM 5.3(753B)等前沿大模型,支持多智能体编排与小模型预训练,解码吞吐量较单节点提升约4倍。
Bolt宣布与Nvidia合作,其至少2.5万辆Lucid自动驾驶出租车将采用Nvidia Alpamayo Stack自动驾驶软件,并于2027年在马德里启动数据采集项目,德国和法国被列为下一批重点市场。
英伟达在GTC Berlin发布DSX Pod,这是一款集成七个Vera Rubin NVL72机架及网络、布线与冷却系统的集装箱式AI数据中心模块,可将站点部署时间从约六个月压缩至14天,预计2027年初通过包括戴尔、...
NVIDIA与欧洲广播联盟(EBU)扩展主权AI框架,引入云服务商及开放模型;Adobe Frame.io借助NVIDIA GPU加速视频语义搜索,实现约5倍嵌入生成提速、4倍吞吐量提升,助力德国制片公司UFA快速检索历...
NVIDIA推出DSX POD参考设计,基于Vera Rubin平台,将计算、网络、存储、供电、液冷等基础设施在工厂环境中预集成并完成验证,再运输至现场安装。该方案可减少现场复杂集成工作,提升大规模AI工厂部署的进度可预...
NVIDIA发布Sentry安全软件框架,运行于BlueField-4 DPU,通过DOCA Tower应用层代理与DOCA Argus内存自省,在独立硬件信任域中监控AI智能体行为、执行访问策略并生成防篡改日志,可在毫...
NVIDIA在GTC Berlin发布Factory Operations Blueprint(FOX)并开放早期访问,西门子、梅赛德斯-奔驰、奥迪等欧洲工业企业借助NVIDIA Omniverse、Cosmos、CUD...
谷歌发布PyTorch定制版本TorchTPU,使开发者无需重写代码即可将AI应用迁移至其TPU芯片。此举跟进了亚马逊AWS本周推出的TorchNeuron,两者均旨在打破Nvidia GPU在AI计算领域的生态垄断。
西班牙巴塞罗那超算中心(BSC)AI工厂加速计划已全面运营,依托MareNostrum 5超算基础设施为初创企业提供算力、技术支持与培训。NVIDIA Inception成员现可通过NVIDIA平台直接访问部分BSC A...
NVIDIA在GTC柏林展示RTX Spark、DGX Spark及DGX Station全系本地AI硬件更新,包括DGX Spark 64GB版本开售、支持最多8台集群配置、DGX Station将于12月推出Wind...
NVIDIA联合Jane Street在cuTile框架上实现Mamba-2序列模型的三个前向传播自定义内核,通过延迟提示、操作数交换及内存布局优化,在NVIDIA Blackwell Ultra GPU上相比Trito...