新闻 · TechCrunch AI
微软称AI智能体如同内部威胁，因为“前沿模型不可信”
微软希望企业密切关注员工使用的、由OpenAI和Anthropic等AI实验室之外系统控制的智能体。
en
英文原标题：Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’
本文为英文原文的机器翻译摘要，原文见：TechCrunch AI ↗
- 微软推出新安全功能，保护企业免受AI代理威胁，其中Guardian Agents用于监控企业使用的AI代理，属于6月推出的Project Perception的一部分。
- Project Perception最初假设AI黑客来自外部，设有红队、蓝队和绿队三类代理；但微软CEO纳德拉近期警告，AI敌人可能是企业自己部署的代理，类似“内部威胁”。
- 纳德拉主张企业应建立独立于AI实验室的系统来监控和控制代理，并提出“需要将智能的供应与对其的权限分开”。
- 微软安全业务负责人Hayete Gallot直言“前沿模型，无论来源，都不能被信任”，原因是它们不可预测，被训练来完成任务而非遵循组织规范或判断。
- 微软在Microsoft Defender中新增代理检测功能，可发现多达60种员工带入工作场所的代理，包括Claude Code、Codex和OpenClaw，并新增限制代理访问数据、动态调整权限及风险决策需人工批准等功能。
关键数据
- Project Perception于6月推出
- Microsoft Defender可检测多达60种代理
- Open Agent Safety Platform获得100多家科技公司支持
引语
- 前沿模型，无论来源，都不能被信任
- 我们需要将智能的供应与对其的权限分开
为什么值得看：微软公开警告前沿模型不可信，并推出独立于模型供应商的代理监控产品，反映AI代理安全正成为企业部署的关键议题。