摩尔线程S5000 + 智源FlagOS：基于原生FP8引擎，Day-0适配DeepSeek-V4

DeepSeek-V4-Flash 采用混合专家（MoE）架构，总参数量高达284B，激活参数13B，支持百万token上下文长度。其预训练数据超32Ttoken，在最大推理力度模式（Flash-Max）下推理能力逼近Pro版本。值得关注的是，V4模型首次采用“FP4+FP8”混合精度策略，而当前国内主流 AI 芯片仍普遍以BF16为主。而摩尔线程凭借独特的原生FP8支持优势，能够更高效承载 DeepSeek-V4 的前沿精度设计，为模型部署与推理优化提供了坚实的算力底座。

为充分发挥MTT S5000在FP8计算上的内核优势，FlagOS对DeepSeek V4模型进行了FP8量化。通过系统级分析，双方技术团队将本次适配的攻坚重点锁定在FP8算子与Sparse Attention算子。针对这两个决定长上下文效率与极致推理性能的关键算子，团队从“编译优化”与“自动调优”两个核心方向取得了重大突破：

在离线优化之外，FlagOS-Tune还支持在线内核配置搜索能力。用户只需开启环境变量 USE_FLAGTUNE=1，经过一段时间的 warmup 后，系统基于实际运行过程持续搜索并应用最佳配置。其中，TTFT 时延降低 16.5%，ITL 时延降低 39.7%，Throughput 提升 65.7%。