英文原标题:How Standard Bank Group automates AI risk assessment for generative AI

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Standard Bank Group与AWS Professional Services合作,部署自动化评估系统,依据国际AI标准和银行自身政策对每个生成式AI用例进行评分,并生成报告和仪表板,展示已落实、运行良好及仍需缓解的事项。
  • 评估完全运行在银行自己的AWS账户中,文档、代码和测试结果保存在Amazon S3;使用AWS Well-Architected Tool进行录入,AWS Step Functions编排流程,Amazon Bedrock上的基础模型以LLM-as-a-judge方式评估证据。
  • 评估分四步:预评估代理扫描代码库和文档并预填约40个问题;管道检查文档、代码、系统提示并通过Lambda或API进行实时测试(含越狱尝试和一致性检查);LLM-as-a-judge对照标准评估;最后以标准格式汇总结果。
  • 检查项映射到国际AI管理、风险和安全的控制项,银行还加入自身标准,使问题总数超过300个,覆盖AWS负责任AI的八个维度(如真实性、隐私、透明度、公平性等)。
  • 每个风险获得可能性评分、缺失证据比例和固定严重性等级,综合评级从Very low到Critical;缺失证据映射到具体缓解措施和标准条款,便于风险官追溯并向监管机构解释。

关键数据

  • 约40个问题覆盖风险事件,如技术文档不完整或人工监督不足
  • 问题总数超过300个,包括银行自定义的评判问题
  • 模型和工具每三到六个月变化一次
  • 风险评级从Very low到Critical

为什么值得看:该案例展示了银行如何在不改变现有风险委员会审批流程的前提下,用自动化证据收集和LLM评估加速生成式AI的合规审批,解决治理成为流水线最慢环节的问题。

站内导航