英文原标题:XYBench: Helping with the problem behind the question
本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗
- AllenAI 发布 XYBench 基准,包含 8K+ 问题,测试 AI 助手能否识别用户问题中的错误假设(XY 问题),并引导用户解决真正目标。该基准获 EMNLP 2026 最佳资源论文奖。
- XYBench 由 AllenAI 与 CMU、NVIDIA、约翰霍普金斯大学研究者合作开发,数据来自 Stack Overflow、Stack Exchange、人工精选和 WikiHow 生成的 6,272 个问题,共 8,115 个真实场景问题。
- 评估了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 五个模型,发现它们更倾向于回答用户表面请求(Y),而非底层目标(X)。在 Stack Overflow 上,表面请求解决方案出现率 75-86%,底层目标仅 59-71%。
- 模型在回答中主要关注底层目标的比例仅 35-41%,而人类参考回答更善于引导用户远离错误方法。即使提供明确意图(oracle 实验),模型在识别误解上仍落后于人类。
- 在判断而非生成答案的实验中,同一批模型(加上 GPT-4.1)在 71-84% 的情况下能选出聚焦目标的答案,远高于其生成此类答案的比例,揭示“识别”与“产出”之间的差距。
关键数据
- 8,115 个问题,来自 1,557 个 Stack Overflow、184 个 Stack Exchange、102 个人工精选和 6,272 个 WikiHow 生成问题。
- Stack Overflow 上,表面请求解决方案出现率 75-86%,底层目标 59-71%。
- 模型主要关注底层目标的比例仅 35-41%,关注表面请求的比例为 47-57%。
- Oracle 实验中,Sonnet 4.6 包含底层目标解决方案的比例从 59% 升至 67%,但误解识别率从 47% 降至 34%。
- 判断实验中,六个模型在 71-84% 的情况下选择聚焦目标的答案。
- 人类评审与自动评判(Sonnet 4.5)在解决方案是否出现上一致率 97.5-100%,误解识别 84.6-93.3%,语用强调 74.2-79.8%。
为什么值得看:XYBench 揭示了当前 LLM 在理解用户真实意图和纠正错误假设方面的不足,为评估和提升 AI 助手的实用性问题解决能力提供了标准化基准。