LIVE INDEX / GPU
按Token计费的AI定价模式,正在走向终结

按Token计费的AI定价模式,正在走向终结

当前AI生产部署中,按token计费的定价模式已难以准确反映实际成本。相同硬件运行不同工作负载,经济效益可能截然不同——短提示批处理是算力瓶颈,长上下文则受内存带宽制约。企业应关注GPU有效利用率、故障检测时效以及弹性负...

"Token生成时间"成为数据中心新战场

"Token生成时间"成为数据中心新战场

生成式AI的快速扩张使数据中心基础设施面临全新挑战。衡量成功的核心指标已从算力本身转向"首个Token生成时间"——即从规划、选址到AI集群启动并生成首个输出Token的全程耗时。这一指标涵盖供电保障、硬件采购、液冷系统...

该需要多少 NVIDIA CUDA Cores ?

该需要多少 NVIDIA CUDA Cores ?

在 GPU 众多特性中,NVIDIA GPU 凭借其独特的 CUDA 架构和丰富的 CUDA 核心而备受瞩目。然而,由于 GPU 资源的高昂成本和相对稀缺性,如何根据实际需求选择合适的 GPU 变得尤为重要。

2024 AI服务器市场竞争格局

2024 AI服务器市场竞争格局

AI服务器产业链上游为零部件,包括CPU、GPU、存储芯片、固态硬盘、PCB、被动元器件等;中游为AI服务器;下游为各类应用市场,包括互联网企业、云计算企业、数据中心服务商、政府部门、金融机构、医疗领域、电信运营商等。