我们能否信任 LLM 判断研究想法是否新颖？

英文原标题：Can we trust LLMs to judge whether a research idea is novel?

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• Ai2 发布研究《Old Ideas, Novel Problems》，系统评估大语言模型作为“新颖性评判者”的可靠性，并同步公开基准、数据、代码及可自动构建评测集的流水线。
• 研究基于 ICLR 2026 同行评审构建两个评测场景：Human-Only 从评审明确肯定新颖性的前 10% 接收论文中取 154 个想法，从评审质疑原创性的后 10% 拒稿论文中取 145 个想法；Human+Generated 将 154 个人类想法与简单 LLM 生成的想法配对，后者为弱标签。
• 测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 六个评判模型，发现提示词、推理预算、检索、格式、聚合方式等设置变化会显著改变判断。
• 在 Human+Generated 上，GPT-5.4 仅因提示词措辞变化，准确率从 93.5% 降至 40.9%（低于随机），并对超过一半的同一组想法改变结论；Human-Only 上同一变化仅约 7 个百分点，但 Claude Opus 4.6 仍移动 21 个百分点。
• 检索与额外推理并未稳定提升判断；两个专门构建的新颖性评估系统表现不如简单提示的 Claude Opus 4.6 基线；不存在对所有模型都更优的提示词。

关键数据

• Human-Only 高新颖性池：154 个来自 ICLR 2026 前 10% 接收论文的想法；低新颖性池：145 个来自后 10% 拒稿论文的想法。
• 评审挖掘校验中，标注者在 50 例中的 47 例同意提取的新颖性信号极性。
• 专家独立复核 30 对 Human+Generated 样本，全部偏好人类想法，且认为生成想法均不新颖。
• GPT-5.4 在 Human+Generated 上准确率从 93.5% 降至 40.9%；Human-Only 上同一提示变化约 7 个百分点，Claude Opus 4.6 移动 21 个百分点。

为什么值得看：该研究用基准和实验表明，当前 LLM 新颖性评判对评测设置高度敏感，在 AI 生成想法上尤其不稳定，直接关系到 AI 辅助科学发现结论的可信度。