英文原标题:How Social Department built culture-aware video discovery
本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗
- 娱乐营销团队面临视频发现难题:需要从海量素材中找到能引发观众共鸣的瞬间,但语义搜索只能回答可描述的问题,无法处理“哪个片段会传播”“哪句台词可引用”等编辑判断。
- Social Department 构建了 QuickSearch,将编辑问题编码为可执行检索流程,提供四个单动作查询:Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align,分别针对可分享场景、可引用台词、可 meme 帧和趋势对齐。
- 架构核心决策:内容理解与趋势获取作为独立管道按各自节奏运行,仅在用户选择 QuickSearch 动作时在请求时连接。内容理解管道异步处理上传视频,使用 Step Functions 协调约两打 Lambda 函数,经过转码、镜头检测等步骤。
- 模型运行在 Amazon Bedrock 上,客户数据保留在 AWS 数据边界内,不与模型提供商共享,也不用于训练基础模型。TwelveLabs 的 Marengo 3.0 和 Pegasus 1.2 提供场景级视频推理,Anthropic 的 Claude 模型也可用。
- 负责任 AI 原则:AI 提议、人决定。生产环境中代码检查生成输出与源材料(如台词不在转录中则丢弃),Bedrock Guardrails 筛查提示攻击,客户团队人员批准每条发布。
关键数据
- 管理数万个视频资产
- Step Functions 协调约两打 Python Lambda 函数
- 转码为 480p H.264
- 使用 TwelveLabs 的 Marengo 3.0 和 Pegasus 1.2 模型
- 使用 Amazon OpenSearch Serverless 进行检索
引语
- AI proposes and people decide
为什么值得看:它展示了如何将难以言表的编辑判断转化为可扩展的检索管道,并给出了在 AWS 上实现文化感知视频发现的具体架构与负责任 AI 实践。