GPU主宰算力芯片,Al信创驱动国产算力发展:得益于硬件支持与软件编程、设计方面的优势,CPU+GPU成为了目前应用最广泛的平台。Al分布式计算的市场主要由算力芯片(55-75%)、内存(10-20%)和互联设备(10-20%)三部分组成。
由于ChatGPT的爆火,GPU需求明显,英伟达也加大对三星和SK海力士HBM3的订单。2023年10月,SK海力士表示,已经在2023年出售了明年HBM3和HBM3E的所有产量。据Omdia预测,到2025年,HBM市场的总收入将达到25亿美元。
集成算力与存力,先进封装产能紧缺:CoWoS封装技术是目前集成HBM与CPU/GPU处理器的主流方案。台积电主导全球CoWoS封装市场。据IDC预测,全球CoWoS供需缺口约20%,2024年台积电的CoWos封装产能将较2023年提升一倍,2.5D/3D先进封装市场规模在2023-2028年将以22%的CAGR高速增长。
Al算力对高效电源提出新需求,背面供电技术蓄势待发:越来越高度化的集成会造成针对加速芯片的电源解决方案越来越复杂,方案需要不同电压、不同路的多路输入,这种情况下电压轨会越来越多。台积电、三星、英特尔等芯片大厂都在积极布局背面供电网络技术,为日益复杂的芯片提供高效供电方案,其中英特尔较为领先。





































好文章,需要你的鼓励
CPU架构讨论常聚焦于不同指令集的竞争,但实际上在单一系统中使用多种CPU架构已成常态。x86、Arm和RISC-V各有优劣,AI技术的兴起更推动了对性能功耗比的极致需求。当前x86仍主导PC和服务器市场,Arm凭借庞大生态系统在移动和嵌入式领域领先,RISC-V作为开源架构展现巨大潜力。未来芯片设计将更多采用异构计算,多种架构协同工作成为趋势。
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
Vast Data与云计算公司CoreWeave签署了价值11.7亿美元的多年期软件许可协议,这标志着AI基础设施存储市场的重要转折点。该协议涵盖Vast Data的通用存储层及高级数据平台服务,将帮助CoreWeave提供更全面的AI服务。业内专家认为,随着AI集群规模不断扩大,存储系统在AI基础设施中的占比可能从目前的1.9%提升至3-5%,未来五年全球AI存储市场规模将达到900亿至2000亿美元。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。