快手科技 投稿
量子位 | 公众号 QbitAI
在工业搜索广告中，生成式检索通常与独立相关性模型级联，但二者目标割裂、表征更新滞后，容易造成相关广告漏召回以及新广告、长尾广告打分偏移；不同类型广告的语义差异，也难以在统一建模中得到充分保留。
针对这些问题，快手科技研究团队提出统一生成-判别框架UniGD：在共享模型中协同优化SID生成与显式相关性判别，通过语义码本为广告构造稳定、可即时获得的内容表征，并针对不同素材类型保留专属语义空间。
在线推理时，UniGD先生成候选SID，随后复用模型内部表征完成轻量相关性打分从而取代原有级联的外部相关性模型。实验表明，这一设计既提升了生成召回和相关性判别精度，也降低了整个链路的耗时。
△UniGD训练框架：HAM-G与HAM-D分别面向生成式与基于CAM的判别式学习，CAGE协调两类梯度。
三个关键模块
CAM：用冻结码本给新广告“即刻可用”的语义表示。研究先用大规模广告素材上预训练的多模态编码器提取广告表示，再以残差量化学习分层码本。CAM按广告SID查找各层码字并求和，重建广告侧表示；码本在UniGD训练中保持冻结，从而保留稳定语义锚点。广告一旦获得SID，仅需通过码本检索即可高质量重建原始基础大模型输出的广告表征，无需在线广告编码器或复杂特征构造。
HAM：让三类广告共享骨干，但不共享一套语义。HAM为短视频、商品、直播广告分别构建码本、SID词表和生成头；推理时，各类型生成头复用同一份decoder隐状态并行执行beam search，再合并候选，无需增加骨干前向计算。这样既保留跨类型共享能力，也保留素材特有语义。
CAGE：化解生成与判别的梯度冲突。当两项目标的梯度方向一致时直接合并；发生冲突时，CAGE先去除判别梯度中与生成方向冲突的分量，再根据余弦相似度动态增强生成方向、调整判别方向。三阶段训练先分别初始化生成和判别能力，再进行联合优化。实验中，去掉CAGE后两项验证准确率在中途达到峰值后下降，而CAGE使其持续提升。
△UniGD工业在线服务流程：请求触发UniGD推理并产生日志；日志采样标注后供UniGD流式训练；新广告一旦生成SID即更新索引。
实验结果：公开测试集与工业场景双重验证
为验证方法的通用性，研究团队首先在两个公开生成式检索测试集上进行评测。NQ320K源自Natural Questions，检索语料为维基百科文章，包含32万条训练查询和7830条测试查询，主要考察模型能否根据自然语言问题召回相关文档。MS300K则由MS MARCO整理而来，包含32万篇文档、36万条训练查询和772条测试查询，更贴近真实搜索中的查询—文档匹配。两个数据集均将查询—文档对标注为相关或不相关，并使用Recall@1/5/10和MRR@10评价召回覆盖与头部排序质量。
在NQ320K上，UniGD的Recall@1/5/10达到72.3%/75.8%/77.5%，MRR@10达到74.2%；在MS300K上，四项指标分别达到60.6%/71.9%/78.2%和65.1%，均为对比方法中的最佳结果。相较统一设置下最强的复现生成式检索基线，UniGD的Recall@10分别相对提升8.4%和3.2%；其Recall@1在两个数据集上均取得超过22个百分点的绝对提升，说明显式相关性监督不仅扩大了候选覆盖，也显著增强了首位命中和头部排序能力。各项提升均通过双尾配对t检验（p<0.05）。
△生成式检索公共测试集结果（%）
工业离线测试中，UniGD将Recall@1从12.5%提升到19.6%，MRR@10从19.1%提升到27.2%。在业务相关性评测集上，其AUC、Spearman、Pearson分别达到0.905、0.798、0.811；其中Pearson略高于不在线部署的Qwen2-VL-7B离线教师（0.810）。消融结果显示，去掉CAM造成最大降幅；去掉HAM或CAGE也会一致降低工业检索指标。
△一周在线A/B实验核心结果
在为期一周、面向数亿广告候选的在线A/B测试中，UniGD将广告收入提升5.8%，整体曝光提升3.1%，长尾和新广告曝光分别提升16.8%和24.6%；同时将不相关比例从6.8%降至5.8%，链路耗时从13.0ms降至8.7ms，降幅33.1%。
UniGD的价值不只是“少部署一个模型”，而是让召回与相关性判别围绕同一目标共同学习，并通过CAM的冻结分层码本锚定长尾及新广告表示以缓解冷启动，借助HAM的素材类型专用建模应对短视频、商品、直播等异构素材的语义差异。论文还指出，该框架未来可探索扩展到推荐和通用信息检索，将生成式候选检索与相关性、偏好预测或排序等判别目标结合。
论文链接：https://arxiv.org/abs/2608.03150
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目/主页链接，以及联系方式。
🎓 我们会 (尽量) 及时回复你 :)
🌟 点亮星标 🌟
科技前沿进展每日见