奇点 AI 索引Qidian AI Index

英文原标题：The Agent Said It Was Done. The Database Disagreed.

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

  • 微软与Hugging Face联合推出ThinkingBox基准，通过隔离的MCP工具会话运行AI代理，并对其留下的终端后端状态和副作用进行评分，而非仅看生成的文本。
  • 基准包含507个有状态业务工作流，每个任务独立运行20次，报告pass@1、pass@20和observed 20/20三个指标，以衡量代理的可靠性和一致性。
  • 在121,680次有效试验中，79,853次未通过可执行检查；其中67.24%的失败仍干净终止并调用了状态变更工具，但可执行检查发现77.61%存在字段值错误、43.30%有意外额外效果、25.36%缺少必需效果。
  • 模型表现差异显著：Claude Opus 5.5总体pass@1最高（67.16%），Kimi-K3是最强开源模型；但一致性上，GPT-6 Astra保留78%的pass@1分数，而GLM-5.1、Kimi-K2.6和DeepSeek-V4-Pro仅保留约8%。
  • 广度与一致性分离：Kimi-K3解决93.89%的任务至少一次，但仅13.41%的任务20次全过；Claude Opus 5解决79.09%至少一次，但47.53%的任务每次都能完成。

关键数据

  • 507个有状态业务工作流，每个任务运行20次
  • 121,680次有效试验中79,853次失败
  • 67.24%的失败仍干净终止并调用状态变更工具
  • 77.61%的失败存在字段值错误，43.30%有意外额外效果，25.36%缺少必需效果
  • Claude Opus 5.5总体pass@1为67.16%，Kimi-K3为57.37%
  • GPT-6 Astra保留78%的pass@1分数，Claude Opus 5.5和Claude Opus 5各保留71%，GLM-5.1、Kimi-K2.6和DeepSeek-V4-Pro各保留约8%
  • Kimi-K3解决93.89%的任务至少一次，仅13.41%的任务20次全过
  • Claude Opus 5解决79.09%的任务至少一次，47.53%的任务20次全过
  • Claude Opus 5.5和Claude Opus 5均有241个任务20次全过

为什么值得看：该基准揭示了AI代理在真实业务工作流中，仅凭工具调用和最终回复无法保证数据库状态正确，且单次成功不代表可靠，为企业选型提供了基于可执行检查的可靠性评估。

站内导航