Semantic ID:算法方案全景与评估体系

用 MLP 编码器把物品内容 embedding(常取 Sentence-T5 对标题/描述的编码)压到隐向量,再做残差量化:第 0 层选最近码字 c₀,对残差 z−c₀ 在第 1 层选 c₁,依次 L 层。解码器重构,损失 = 重构 + 承诺/码本损失(沿用 VQ-VAE 的直通估计)。

最朴素的向量量化:一个码本,最近邻取码,承诺损失 + 直通估计。是 RQ-VAE 的"祖先"。单层码本对语义 ID 表达力不足,通常作为概念基线或与多码本组合使用。

不学码本,直接用聚类:对 embedding 做 K-means 得第 0 层中心;对残差再 K-means 得第 1 层……(RQ-K-means)。或递归二分/多分构造一棵平衡树(DSI 的层次 K-means)。确定性、无梯度。

把 D 维向量切成 M 个子向量,各自用大小 K 的码本独立量化,ID = 各子空间码字。OPQ 先学一个旋转矩阵去相关,再 PQ,重构更优。码字平级、可并行解码。

在 RQ-VAE 上加两个正则:协同正则把语义 ID embedding 对齐到协同过滤 embedding(让 ID 也反映行为相似);多样性正则缓解"码字分配偏置"与坍缩,鼓励码本均匀使用。目标是同时具备层次语义、协同信号与均衡分配。

用 RQ-VAE 得到物品码,再设计一组对齐任务让 LLM 把语义 ID 与自然语言、与协同语义对齐。处理碰撞时不追加去重 token,而是把冲突物品重分配到邻近空闲码(统一语义映射),使末层码均匀。核心是"让大模型真正读懂这些离散 ID"。

用联合乘积量化(Joint PQ)把物品 ID 拆成若干共享的"子 ID" embedding,大幅压缩 Transformer 序列推荐器的嵌入表(可省几十倍内存),同时基本不掉点。偏"表示压缩"而非"生成式 ID"。

EAGER(浙大+华为):双流,对行为与内容各做层次 K-means,协同 token 与内容 token 并行生成。
SEATER:约束 K-means 造平衡 k 叉树 ID,配对比与对齐损失,ID 等长、推理成本一致。
RPG(UCSD+Meta):用 OPQ 生成最长 64 位、无序语义 ID,多 token 并行预测+图约束解码,报告 NDCG@10 +12.6%。
MMGRec / MMQ(阿里):多模态语义 ID,前者用 Graph-RQ-VAE,后者用混合量化(MoQ)融合图文并适配用户行为。

把 RQ-VAE 语义 ID 作为 YouTube 排序模型的特征(不止用于生成式召回)。关键结论:直接用连续内容 embedding 替换随机哈希 ID 反而掉点——因为丢了"记忆"能力;而离散语义 ID 在记忆与泛化之间取得平衡,改善冷启动与长尾。是"语义 ID 到底有没有用"的重要工业级证据。

用编码器-解码器统一召回与排序,做会话级(session-wise)生成而非逐点预测,稀疏 MoE 扩容,再加迭代式偏好对齐(DPO+奖励模型)。物品用残差平衡 K-means分词——作者明确批评 RQ-VAE 的"沙漏现象"(码分布失衡),用每簇恰好 |V|/K 个物品的平衡聚类保证码本用满。快手主场景 A/B 观看时长 +1.6%;V2 用"惰性解码器"砍约 94% 算力、扩到 8B 参数。

全称 Cascaded Organized Bi-Represented generAtive retrieval。针对"纯离散语义 ID 有信息损失",级联生成:先出稀疏语义 ID抓粗粒度,再以其为条件生成稠密向量补细粒度,端到端让稠密表征吸收协同信号;推理用 BeamFusion 兼顾多样性。已在2 亿+ 日活广告平台线上取得提升。

快手提出,直击"预训练多模态表征→冻结喂下游"的两大病:表征不匹配(多模态编码器按 CV/NLP 目标训练,与推荐目标错位)与表征不可学(缓存的冻结 embedding 无法被推荐梯度更新)。做法是量化对齐机制 + 可训练、对齐行为的量化码(quantitative code),为每个下游模型定制多模态语义 ID。