FairStress：对LLM决策公平性的更深入评估

英文原标题：FairStress: A deeper evaluation of fairness in LLM decision-making

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• FairStress 是 AllenAI 推出的基准，用于衡量 LLM 在影响他人决策中的群体公平性，不仅看最终选择，还看模型在受到说服性挑战时改变决定的难易程度。
• 基准包含 300 个跨 29 个领域的双候选人决策场景，覆盖招聘、医疗、贷款、教育、住房和刑事司法等；通过变化人口身份呈现方式（无信息、编码姓名、暗示身份、明确标签）和对抗性前缀，扩展出超过 1300 万个测试用例。
• 实验覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列等开放权重与前沿模型，发现当身份信息更明确时，模型行为变得不对称：若正确候选人属于多数群体、错误候选人属于少数群体，模型更容易在说服下放弃正确选择；反之则较难。
• 研究将这种模式称为“反刻板印象过度纠正”：模型在放弃正确决策会偏向少数群体编码候选人时更愿意改变答案，且这种差异在身份暗示而非明确陈述时也会出现。
• FairStress 还提供 FairStress-Core 子集（5 万条，基于项目反应理论选取），用于更快、更低成本地评估，并已集成到 Olmo-eval 工作台。

关键数据

• 300 个现实双候选人决策场景，覆盖 29 个领域
• 组合身份与前缀变化后扩展为超过 1300 万个测试用例
• FairStress-Core 为 5 万条子集
• 在 15 个模型上评估，暗示身份时放弃正确答案的平均差距为 6.9 个百分点，明确身份时为 9.3 个百分点

引语

• 我们描述这种模式为反刻板印象过度纠正
• 目标是对称公平

为什么值得看：该基准揭示了仅看最终选择会掩盖的公平性不对称，为评估 LLM 在高风险决策中的稳健性与公平性提供了更细粒度的工具。