/
博士生创业项目Arena成为AI模型评判标杆，估值17亿美元
AI模型竞争激烈，Arena已成为大语言模型的权威排行榜，影响着行业资金流向和产品发布。这家初创公司在七个月内从加州大学伯克利分校博士研究项目发展为估值17亿美元的企业。联合创始人讨论了如何在接受OpenAI、谷歌和Anthropic资金支持的情况下保持中立评测，以及Arena如何从聊天评测扩展到代理、编程等企业级产品。
Arena平台如何成为大语言模型权威评测标准
AI模型竞争激烈，Arena成为前沿大语言模型的权威公开排行榜，影响着资金投入和产品发布。这家初创公司从加州大学伯克利分校的博士研究项目起步，仅七个月就获得17亿美元估值。尽管获得OpenAI、谷歌和Anthropic等公司支持，Arena仍努力构建中立基准。该平台比静态基准更难操控，目前Claude在法律和医疗专业领域排名领先。
科学家创建史上最难AI测试，结果令人意外
随着AI在传统学术基准测试中得分极高，研究人员发现现有测试已无法准确衡量先进AI系统的能力。为此，近千名全球研究人员开发了"人类最后考试"，这是一个包含2500道题目的评估系统，涵盖数学、人文、自然科学等高度专业化领域。测试结果显示，即使是最强大的AI模型准确率也仅为40-50%，表明AI与人类智能之间仍存在巨大差距。
AI在数学考试中的表现超越了科学家出题速度
数学被视为衡量AI进展的理想领域，但AI系统改进速度如此之快，以至于数学基准测试难以跟上。Frontier Math基准在2024年11月发布时，顶尖AI模型只能解决不到2%的问题，而如今最佳公开AI模型已能解决超过40%的问题。谷歌DeepMind的Aletheia系统甚至实现了可发表的博士级研究成果。为应对这一挑战，数学家们提出了First Proof挑战和Open Problems等更严峻的测试。
AI智能体仍需人类指导才能有效执行任务
最新研究显示，AI智能体需要特定的程序性技能知识才能良好执行任务，但无法自主学习这些技能。研究团队开发了SkillsBench基准测试，评估了AI智能体在医疗、制造、网络安全和软件工程等11个领域84项任务中的表现。测试分为三种条件：无技能指导、人工策划技能指导和自生成技能。结果显示，获得人工技能指导的智能体平均得分比无指导的高16.2个百分点，表明AI仍离不开人类干预。在医疗领域效果最显著，但在软件工程领域改善有限。
AI智能体仍需人类传授技能才能有效运作
最新研究表明，AI智能体需要特定的程序化知识技能才能良好执行任务，但无法自主学习这些技能。研究人员开发了SkillsBench基准测试，评估AI在医疗、制造、网络安全和软件工程等11个领域84项任务中的表现。测试显示，配备人工策划技能的智能体比无技能智能体平均得分高16.2个百分点，而自主生成技能的智能体性能无提升，证明AI仍需人类干预指导。
AI智能体何时可胜任自主商业运营？
卡内基梅隆大学和富士通研究人员开发了三项新基准测试，用于评估AI智能体在无人监督情况下执行商业操作的安全性和有效性。FieldWorkArena基准专注评估物流制造环境中的AI智能体，测试其检测安全违规和生成事故报告的准确性。研究显示当前多模态大语言模型在实际应用中表现不佳，存在幻觉和计数错误等问题。
AI物理推理能力不足阻碍自动化发展进程
斯坦福大学推出QuantiPhy基准测试框架，评估AI对视频图像中物理属性的数值推理能力。测试显示当前AI模型在估算尺寸、速度和距离等基本物理量方面表现不佳，主要依赖记忆事实而非视觉推理。这一缺陷限制了机器人、自动驾驶汽车等领域发展。QuantiPhy通过端到端学习方式训练效果最佳，为改进AI物理理解能力提供新路径。
英特尔最新芯片多核跑分超越苹果M5但优势或仅维持两天
Wired测试显示，英特尔Core Ultra系列3在多核性能测试中表现出色。在Cinebench 24多核基准测试中，Core Ultra X9 388H得分1285分，超过M5的922分；在3DMark Steel Nomad Light测试中得分5883分，胜过M5的5077分。然而，英特尔芯片仍被苹果M4 Pro轻松击败，预计即将发布的M5 Pro和M5 Max将在新款MacBook Pro中展现更强性能。
AI智能体是否已准备好进入职场？新基准测试引发质疑
最新研究显示，尽管AI模型在深度研究和智能规划方面取得巨大进步，但在实际白领工作任务中表现不佳。新的Apex-Agents基准测试涵盖咨询、投资银行和法律等领域的真实工作场景，结果显示即使是最先进的AI模型也只能正确回答四分之一的问题。研究发现，AI模型最大的障碍是跨多个领域追踪信息的能力不足，这正是人类知识工作的核心技能。
异构计算时代需要新的数据处理基准测试
数据基础设施正经历数十年来最重大变革。生成式AI和异构加速计算环境的兴起，正在重塑现代数据栈的核心需求。传统基准测试如TPC-DS已无法准确评估GPU、TPU等多样化硬件的真实性能。硬件厂商的规格参数往往与实际工作负载表现存在差距，导致数据中心运营商难以做出正确的基础设施决策。行业亟需建立新的系统级基准测试标准，涵盖ETL、商业智能和生成式AI等多种工作负载，为异构计算环境提供准确的性能评估。
研究显示大语言模型数学计算能力令人担忧
波兰研究团队开发ORCA数学基准测试，对五个主流大语言模型进行评估。结果显示ChatGPT-5、Gemini 2.5 Flash、Claude Sonnet 4.5、Grok 4和DeepSeek V3.2的准确率均低于63%。测试涵盖生物化学、工程建筑、金融经济等七个领域的500道数学题目。研究发现模型主要在四舍五入和计算错误方面存在问题，表明自然语言推理进步并未直接转化为可靠的计算能力。
Laude研究所宣布首批"弹弓"AI资助计划获奖名单
Laude研究所周四宣布首批Slingshots资助计划，旨在推进人工智能科学与实践发展。该加速器项目为研究人员提供学术环境中难以获得的资源支持，包括资金、算力和产品工程支持。首批15个项目重点关注AI评估难题，包括命令行编程基准Terminal Bench和ARC-AGI项目最新版本。其他项目涵盖代码优化评估、白领AI代理基准测试等创新方向。
MCP-Universe基准测试显示GPT-5在超半数真实业务场景中表现不佳
Salesforce AI研究团队开发了开源基准测试MCP-Universe，用于评估大语言模型在真实世界中与MCP服务器的交互能力。测试涵盖位置导航、代码库管理、金融分析等六个企业核心领域的231项任务。结果显示，即使是OpenAI最新发布的GPT-5等顶级模型，在处理企业级真实场景任务时仍面临挑战，超过一半的企业典型任务无法成功完成，特别是在长上下文和未知工具使用方面表现不佳。
Lightbits与Supermicro服务器共享块存储测试创IOPS新高
Lightbits声称在使用超微服务器硬件的基准测试中，为容器化事务处理展示了最快的共享块存储性能。测试配置采用AMD EPYC 9575F处理器和8块三星NVMe SSD，实现了360万4K随机读IOPS、160万4K随机写IOPS等优异成绩。双方发布的Kubernetes参考架构结合了Lightbits的NVMe/TCP存储技术，为金融交易、实时分析、AI训练等高性能应用提供解决方案。
OpenAI 的 o3 AI 模型基准测试得分低于公司最初声称的水平
独立测试显示，OpenAI 的 o3 模型得分约 10%，远低于内部报告的25%上限。公开版与内测版存在差异，后续版本预计将更加强大，提醒业界对 AI 基准测试结果保持谨慎。
WEKA 在 SPECstorage Solution 2020 基准测试中包揽第一
WEKA 在 SPECstorage Solution 2020 基准测试的五个工作负载场景中全面领先，采用 HPE PCIe Gen 5 硬件实现卓越性能。此次测试涵盖 AI 图像处理、电子设计自动化等多个领域，WEKA 不仅提高了处理速度，还显著降低了延迟，展现了其在存储解决方案领域的领先地位。
NVIDIA GPUs H100 vs A100，该如何选？
在人工智能和高性能计算领域，GPU 扮演着至关重要的角色。作为 GPU 领域的领导者，NVIDIA 推出的 H100 和 A100 两款产品备受瞩目。H100 作为 A100 的继任者，在架构、性能和功能上都进行了显著的提升。本文将深入剖析这两款 GPU 的技术细节、性能差异以及应用场景，帮助读者全面了解 H100 和 A100，从而在实际应用中做出明智的选择。
MLPerf Llama大模型推理测试：一款GPU独战NVIDIA群雄
与大模型推理测试结果直接相关的，就是GPU的型号和数量。除此之外，我们还能看到更多信息，比如使用的服务器型号、CPU，以及软件平台环境等。参考上面截图，实际上NVIDIA GPU在Llama-2-70b测试中基本都是用CUDA+TensorRT；而AMD则是ROCm+PyTorch+vLLM。
京公网安备 11010802021500号
