新闻 · AWS Machine Learning Blog
uniopen 如何为生产部署定制 Amazon Nova 以适配其零售内容审核政策
了解台湾统一企业集团旗下零售平台 uniopen 如何通过 Amazon SageMaker AI 中的监督微调与提示优化，让 Amazon Nova 2 Lite 适配其内容审核政策。与业务相关的评估和发布门禁确保了质量。
en
英文原标题：How uniopen customized Amazon Nova to their retail moderation policies for production deployment
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
本文介绍了台湾统一企业集团旗下数字通信与会员平台 uniopen 如何通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调，并结合提示词层面的输出优化，使其满足零售内容审核策略的生产部署要求。
业务背景与审核策略
uniopen 是统一企业集团推出的数字通信与会员平台，覆盖网页、平板和移动端，连接电商、会员权益等零售体验。平台对每次交互按两个维度进行审核分类：行为类别（共九类）和主体类型（品牌、其他、禁止）。两个维度都必须正确，审核决策才有用，且这些分类是 uniopen 业务特有的，通用模型无法直接掌握。
- 审核策略包含两个轴：行为（九类）与主体（品牌/其他/禁止）
- 两个维度均需正确，且高度业务特定
- 跨渠道使用同一套审核分类和发布标准
解决方案架构
架构将生产审核路径与纠错、训练、评估和部署分离。Amazon Nova 2 Lite 处理主要审核请求，Amazon Nova 2 Pro 支持候选纠错生成，但每条纠错必须经人工审核后才能进入训练集。Amazon S3 存储已验证的纠错集和训练数据，DynamoDB 跟踪活跃与候选模型配置，Argo Workflows on Amazon EKS 编排提示优化、评估和部署，Argo CD 将批准的配置应用到生产，SNS 和 CloudWatch 在硬门禁失败或候选需要关注时通知运维人员。
- Nova 2 Lite 负责生产审核，Nova 2 Pro 辅助生成候选纠错
- 人工审核是纠错进入训练集的强制环节
- S3 存数据、DynamoDB 存配置、Argo 编排、SNS/CloudWatch 告警
负责任 AI 与门禁控制
负责任 AI 控制与模型定制互补：模糊案例和复用为训练数据的纠错必须人工审核；固定测试集和回归检查防止质量下降时自动晋升；可使用 Amazon Bedrock Guardrails 对输入输出做内容过滤，按行为和主体类别监控错误，最小化保留客户数据，并随审核策略变化重新验证阈值。晋升由硬门禁和软门禁控制：硬门禁是必须通过的回归测试，失败则停止流程并告警；通过硬门禁后检查软门禁警告（如低置信度或特定类别性能下降），无警告可自动晋升，有警告则需管理员审核批准。
- 人工审核、固定测试集、回归检查、Guardrails 过滤、数据最小化
- 硬门禁失败即停止并告警；软门禁警告需人工审批
- 无软门禁警告时可自动晋升
评估方法
对话窗口是被视为一个训练或评估样本的客户对话片段。三种配置均在同一个包含 737 个对话窗口的留出测试集上评估，微调数据集包含 3,391 个训练窗口。评估指标包括 Per Behavior Macro F1（衡量九类行为分类的一致性，每类等权）和 Subject Type Macro F1（衡量主体类型识别的一致性，每类等权），两者共同反映策略检测和主体理解能力。
- 测试集：737 个对话窗口；训练集：3,391 个窗口
- Per Behavior Macro F1 和 Subject Type Macro F1 均为等权宏平均
- 两个指标在同一 0-1 尺度上展示策略检测与主体理解
优化过程与结果
基线 Amazon Nova 2 Lite 的 Per Behavior Macro F1 为 0.5852，Subject Type Macro F1 为 0.4162，尚未学好 uniopen 的审核分类。团队随后在 Amazon SageMaker AI 中使用 LoRA 进行监督微调，Per Behavior Macro F1 提升至 0.8364，Subject Type Macro F1 提升至 0.8302，主体类型指标超过生产目标，行为分类接近目标。之后团队将输出从 JSON 改为基于行的格式并澄清多行为返回方式，无需额外训练，Per Behavior Macro F1 升至 0.8550，Subject Type Macro F1 升至 0.8491，两项均超过生产目标（0.8500 和 0.8200）。
- 基线：行为 0.5852，主体 0.4162
- SageMaker AI LoRA 微调后：行为 0.8364，主体 0.8302
- 提示优化后：行为 0.8550，主体 0.8491，均超生产目标