Tano
Tano
发布于 2026-09-08 / 1 阅读
0

基于语义id和生成式框架的捆绑推荐

国内外研究背景

本项目处于推荐系统领域的前沿交叉点,主要结合了三个关键技术方向:捆绑推荐、生成式推荐和语义ID/向量量化。

1. 捆绑推荐 (Bundle Recommendation)

研究现状: 捆绑推荐(BRP)旨在为用户推荐一组互补的物品,而非单个物品。传统方法多基于判别式模型,如矩阵分解(MF)、协同过滤(CF)或图神经网络(GNN)。它们侧重于预测用户对既有捆绑包的评分或采纳概率。

局限性: 现有方法通常难以处理捆绑包的内在语义生成问题,即如何根据用户需求和物品间的互补关系,创造一个全新的、合理的捆绑包。此外,用户对捆绑包的交互数据稀疏,也限制了判别式模型的性能。

2. 生成式推荐 (Generative Recommendation)

研究现状: 近年来,受大型语言模型(LLM)的启发,研究开始探索将推荐任务转化为生成任务。例如,使用Transformer模型直接生成物品的ID序列、描述文本或推荐理由。这种范式从根本上改变了推荐的机制,实现了端到端的推荐生成。

前沿进展: 生成式检索(Generative Retrieval)是该领域最热门的方向之一。其核心思想是让模型自回归地解码出目标候选物品的标识符,从而替代传统的双塔模型+最近邻搜索(ANN)的检索方式。

3. 语义ID与向量量化(Semantic ID / Vector Quantization)

技术基础: 您的项目明确提及参考论文《Recommender Systems with Generative Retrieval》。该论文提出了使用**RQ-VAE(Residual Quantized VAE)等技术,将物品的稠密向量映射为由一组离散的语义ID(Semantic ID)**组成的序列或元组。

价值: 语义ID作为一种紧凑、富含语义且可离散化的物品表示,使得生成式模型能够稳定地直接预测物品的标识,极大地提高了模型的效率和在超大规模语料库上的可扩展性。

4. 项目的创新性定位

本项目是国内外较早尝试将生成式检索(语义ID + 生成式框架)这一前沿技术,应用于更复杂和更具挑战性的捆绑推荐任务。它超越了传统捆绑推荐的判别式限制,具备从语义层面创造新的、合理的捆绑包的能力。

项目的应用场景

基于语义ID和生成式框架的捆绑推荐系统,由于其强大的语义理解和生成能力,在多个商业和内容平台领域具有广阔的应用前景:

应用领域

具体场景

系统优势体现

电子商务 (E-commerce)

“一站式”购物推荐、促销捆绑包生成

语义一致性高: 为用户生成一套完整且风格/功能互补的商品组合(如:衬衫、领带、鞋子)。系统可确保生成的捆绑包内在逻辑合理,提升客单价。

2. 在线教育 (Online Education)

学习路径规划、课程组合推荐

结构化生成: 根据用户的学习目标和已有知识背景,系统生成一系列循序渐进的课程捆绑包(如:初级编程 -> 高级算法 -> 项目实践),优化学习效率。

3. 内容订阅 (Content Subscription)

主题内容包、内容聚合

克服稀疏性: 在电影、音乐、文章等内容平台,系统可生成高度个性化的**“主题合集”**(如:周末放松影单、深度科技报道包),尤其适用于长尾、冷门内容。

4. 旅游服务 (Travel & Hospitality)

个性化旅游套餐

即时动态生成: 根据用户的出行时间、预算、偏好,即时生成包括机票、酒店、景点门票的一揽子旅游捆绑包,实现实时优化和快速响应。

5. 硬件与配件 (Hardware & Accessories)

配套设备推荐

互补性强: 购买手机后,系统生成与其兼容且功能互补的配件组合(如:特定型号的保护壳、充电器、无线耳机等),减少用户选择时间。

相关论文

一、 核心基础:生成式检索与语义ID (Generative Retrieval & Semantic ID)

Recommender Systems with Generative Retrieval_billingual

(项目核心参考) 首次提出TIGER框架,使用RQ-VAE将物品映射为语义ID(Semantic ID)序列,并将推荐任务转化为Transformer的自回归生成任务,实现单阶段检索。

Generative Recommendation with Semantic IDs A Practitioner's Handbook_billingual

探讨了语义ID在生成式推荐中的作用、挑战与实践。提出了GRID框架,用于统一基准测试和促进语义ID方法的迭代,对您项目中的语义ID构建有指导意义。

Understanding Generative Recommendation with Semantic IDs from a Model-scaling View

分析了基于语义ID的生成式推荐模型在规模扩大时遇到的性能瓶颈,对您项目设计模型架构和优化方向有重要的警示和启发。

二、 直接相关:生成式捆绑推荐 (Generative Bundle Recommendation)

BRIDGE-Bundle Recommendation via Instruction-Driven Generation_billingual

提出BRIDGE框架,利用指令驱动(Instruction-Driven)的生成范式进行捆绑推荐。虽然方法与您的“语义ID生成”略有不同,但其生成伪捆绑包以应对稀疏性的思想对您的项目具有重要参考价值。

三、 综述与背景:捆绑推荐概览

A Survey on Bundle Recommendation- Methods, Applications, and Challenges

这是一篇关于捆绑推荐的全面综述。论文将捆绑推荐方法分为判别式生成式两大类,明确了**生成式捆绑推荐(Generative BR)**是未来重要方向。

框架图

1. 语义ID的构建(左侧)

  • 输入: 原始的离散物品(item id.36, item id.27, item id.45)及其附带的非结构化信息(item title, item description)。

  • 过程:

    • 通过一个LLM Encoder(大型语言模型编码器)对物品的标题和描述等内容进行编码,得到高维的语义向量。

    • 利用Codebook of Item(物品码本)和向量量化(Vector Quantization, VQ)技术,将物品的高维语义向量映射为离散的语义ID序列(图中示例为 15, 24, 46, 32, 85)。

  • 目的: 将原本离散的物品ID,转化为连续、富含语义信息、且可被Transformer模型解码的序列表示

2. 捆绑包的权重和关联性建模(中上和中右)

这一部分解决了如何将多个物品的语义ID聚合成一个代表捆绑包的向量,并考虑捆绑包内物品的关联性。

  • 问题提出: “怎么融合到捆绑向量?”

  • 协同相似度矩阵: 图中示例展示了一个物品相似度矩阵item1 item2 item3),通过协同过滤等方法计算物品在捆绑包中或用户行为中的相对权重(如 0.6, 0.4, 0.2)。

  • 加权求和(核心步骤): “每个位置的向量加权求和”

    • 捆绑包内的物品(item1, item2, item3)被赋予权重(0.6, 0.4, 0.2)。

    • 这些权重用于对物品在语义ID不同层级(Level 1, Level 2, Level 3)上对应的向量进行加权求和。例如:32, 39对应的向量的加权求和。

  • 语义ID的层次化: 图中语义ID被组织成Level 1, Level 2, Level 3,暗示了这是一个**层次化(Hierarchical)**的编码结构,不同层级可能编码了物品的不同粒度语义(如品类、属性、风格等)。

3. 融合与最终捆绑包向量的生成(右下)

  • 融合捆绑描述(Content Feature): “同时不能忽略捆绑包的标题信息...所以要融合捆绑title通过大模型生成的v2”

    • 通过LLM Encoder对捆绑包本身的描述(bundle title, bundle description)进行编码,得到捆绑包内容向量 $v2$。

  • 最终融合公式(Final Fusion):

    • 最终的捆绑包向量 V 通过加权组合得到:

    • 其中 v1 是由捆绑包内物品的语义ID加权聚合得到的向量,v2 是由捆绑包标题/描述生成的语义向量,a 是一个用于平衡物品内容和捆绑包描述的权重参数

  • 目的: 确保最终的Codebook of Bundle(捆绑包码本)向量既包含了构成物品的精细语义,也包含了捆绑包作为一个整体的主题或功能语义。

协同嵌入应被集成到图中的两个关键环节:语义ID的构建捆绑包的聚合权重计算

1. 协同嵌入在语义ID构建中的作用

在原始图中,Semantic ID 仅由 LLM Encoder(物品描述/标题)生成,这可能导致 Semantic ID 缺乏用户行为偏好信息。

集成方案(修改左侧流程):

原图流程

补充协同嵌入后的作用

LLM Encoder

协同嵌入(Collaborative Embedding)被引入,用于提炼 Item Embedding。

Codebook of Item

融合后的 Item Embedding(结合了内容和协同信息)被送入 VQ 过程,生成更鲁棒、更全面的语义ID

Semantic ID

最终的 Semantic ID 不仅编码了物品的语义内容,还捕获了用户对该物品的潜在偏好和流行度等协同信号。这有助于解决冷启动和稀疏性问题。

在图中的体现:

  • 在“LLM Encoder”和“Codebook of Item”之间,应增加一个环节,利用如 GCN(图神经网络)或协同矩阵分解等方法,根据用户-物品交互历史生成协同嵌入

  • 将该协同嵌入与 LLM Encoder 输出的内容嵌入进行融合(例如,通过注意力机制或简单相加),再进行量化,确保 Semantic ID 同时具备“内容语义”和“协同语义”。

2. 协同嵌入在捆绑包聚合中的作用(协同相似度矩阵)

在原始图中,右侧的**“协同相似度矩阵”**是计算物品权重 $w_i$ 的基础,而这个矩阵正是由协同信息驱动的。

集成方案(强调右侧流程):

原图流程

补充协同嵌入后的作用

协同相似度矩阵 (Item1, Item2, Item3)

这个矩阵的构建直接依赖于协同嵌入。协同嵌入可以学习物品之间基于用户行为互补性替代性

权重计算(例如:0.6, 0.4, 0.2)

权重 $w_i$ 应基于协同嵌入计算得出,代表了在形成捆绑包时,该物品的相对重要性共现概率。例如,如果用户经常一起购买 Item1 和 Item2,那么协同嵌入能确保它们之间的权重更高。

加权求和 $\rightarrow v1$

权重 $w_i$ 用于加权求和,确保最终的捆绑包向量 $v1$ 能够反映出物品在协同层面的合理组合。