英文原标题:Token Pooling-Aware Training for Multi-Vector Embedding Models

本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗

  • 多向量嵌入模型为每个查询token保留独立匹配机会,表达力强但文档向量数量巨大,百万文档语料可含数亿向量,存储成本高。
  • Token pooling通过Ward层次聚类合并相似token向量来压缩表示,支持pool_factor、max_tokens和distance_threshold三种控制方式,并可校准阈值以匹配目标平均向量数。
  • Pooling-aware training在训练时同时优化原始文档嵌入和压缩后文档嵌入的检索损失,两者平均,使编码器学会在向量合并后保留关键信息。
  • 实验显示,pool_factor=4时,常规训练模型保留未池化NanoBEIR nDCG@10的94.6%,而池化感知训练将保留率提升至97.8%,文档向量减少4倍。
  • 该方法可与Fast-PLAID的2-bit或4-bit残差量化等压缩技术结合,在相同存储预算下提升检索质量。

关键数据

  • pool_factor=4时,常规训练模型保留94.6%的未池化NanoBEIR nDCG@10,池化感知训练提升至97.8%
  • 4位残差量化下,200个128维向量每文档需12.8 KB,百万文档需12.8 GB;池化到50个向量后降至3.2 GB
  • HierarchicalTokenPooling默认保护第一个token,且仅对文档嵌入应用池化

为什么值得看:它提供了一种在相同存储预算下通过训练让多向量模型适应token池化压缩、从而减少检索质量损失的可复现方法。

站内导航