新闻 · TechCrunch AI
Hugging Face政策负责人：内置AI评估器并非易事
AI实验室将声誉押注在模型基准测试上——这套本应中立且准确的评估体系旨在衡量一款AI产品是否优于另一款。然而，Hugging Face首席政策官Irene Solaiman在TechCrunch的一场讨论中表示，这些评估背后的方法复杂且仍在成熟之中。
en
英文原标题：Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says
本文为英文原文的机器翻译摘要，原文见：TechCrunch AI ↗
- Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt上表示，AI模型评测方法复杂且仍在成熟中，需要形成更一致的科学体系才能被行业依赖。
- 评测结果的可信度关键在于可复现性，以及对模型本身的访问权限，开放权重在此至关重要；同时不同评测之间缺乏有意义的比较方法。
- 评测体系更新快、失效也快，生态不够繁荣；嵌入式评估者生态虽受追捧，但评估者资质和任务适配标准亟需标准化。
- 嵌入式评估者指在AI组织内部设置所谓中立的第三方观察者，因安全事件频发而流行，但其中立性和有效性存疑，Anthropic聘请Accenture作为首个评估者曾引发争议。
- 评测正从单纯测试模型转向测试模型周边整个系统，包括harness和agent；较弱的模型搭配更好的harness可能轻松超越前沿模型，而agentic评测既困难又昂贵。
关键数据
- Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt上发表上述观点
- Anthropic聘请Accenture作为其首个评估者
引语
- 信任是一个很有分量的词
- 它们是一门不断发展的科学——我们不知道如何有意义地相互比较
- Agentic评测真的很难，而且真的很贵
为什么值得看：文章揭示了当前AI评测体系在可复现性、标准化和嵌入式评估者中立性方面的核心挑战，以及评测对象从模型扩展到整个系统的趋势。