消除评估偏差，在 Amazon Bedrock 上释放更优模型

英文原标题：Fix evaluation bias to unlock better models on Amazon Bedrock

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• Property Finder 的工程团队发现，其评估数据集中 96.8% 的标签直接来自现有视觉语言模型的预测，而非人工验证，导致评估存在系统性偏差，任何替代模型在比较中都处于结构性劣势。
• 标签还存在隐藏错误，例如水印文本提取有字符级错误却被标记为正确，照片分类将单一标签强加于包含多个房间类型的图像。
• 为打破循环，团队由具备领域知识的专家独立重新标注了 356 张阿联酋图像，其中前 256 张作为开发集用于调优，全部 356 张用于最终模型比较。
• 团队将单标签分类改为多标签分类，以消除人为歧义，并采用 Micro F1 作为主要指标，辅以 Macro F1、每标签精确率/召回率及每样本 IoU。
• 提示优化采用类似强化学习的循环，从 v0 迭代到 v27，结合错误分析和 AI 助手改进提示，并在照片分类任务中引入 DSPy 的 MIPROv2 自动化优化框架。

关键数据

• 96.8% 的评估标签来自现有模型的预测而非人工验证
• 仅 3.2% 的样本为人工标注
• 专家手工标注了 356 张阿联酋图像，其中 256 张构成开发集
• 埃及图像集包含 230 张，用于跨区域检查
• 生产基线模型 A 在 256 张开发集上的 Micro F1 为 0.55
• 提示优化循环从 v0 运行到 v27
• 最终实现准确率提升且成本降低 86%

引语

• 你的评估可能在说谎
• 答案键是由你试图替换的模型编写的

为什么值得看：文章揭示了评估数据偏差如何阻碍模型选型，并提供了构建无偏真实标签和迭代优化提示的实用方法，可帮助团队在 Amazon Bedrock 上以更低成本获得更高准确率。