推荐系统如何从大语言模型中取长补短：从应用视角出发（2023）-华为_31页_3mb

报告摘要

推荐系统如何从大语言模型中取长补短：应用视角分析总结

01 背景与问题

传统推荐系统存在以下局限性：

模型规模小：计算资源消耗低，但语义信息和深度意图推理能力不足
知识局限性：仅依赖数据集内信息，缺乏外部开放世界知识
协同信号缺失：难以捕捉用户与物品间的复杂交互关系
大语言模型（LLM）的优势包括：
语义丰富：具备跨域推荐能力，适合冷启动场景
知识通用性：可整合外部信息，提升推荐内容理解能力
但LLM也存在：
计算复杂度高：难以处理海量样本
协同信号不足：缺乏推荐场景的特定优化

核心问题聚焦于：如何通过融合LLM与传统推荐模型（CRM），提升推荐性能并优化用户体验？从应用视角出发，该问题拆分为两方面：WHERE（应用场景）与 HOW（技术实现）。

02 应用场景（WHERE）

LLM在推荐系统中可应用于以下环节：

特征工程：
- 增强用户画像（如GENRE通过新闻摘要生成个性化内容）
- 理解推荐内容（如U-BERT对用户评论编码提取个性化特征）
- 样本扩充（如通过LLM生成新数据）
特征编码：
- 丰富文本特征表示（如用户/物品表征）
- 提升ID特征的跨场景迁移能力（如UniSRec对物品标题/描述编码）
打分/排序：
- 物品评分：基于LLM对候选物品进行评分预测（区别于零样本/少样本/微调场景）
- 物品生成：通过生成式模型直接输出推荐列表（如PALR基于用户画像生成排序）
- 混合任务：联合实现评分与生成任务（如P5统一预训练模型）
流程控制：
- 作为中央控制器协调推荐流程（如RecLLM整合检索、排序等模块）

03 技术实现（HOW）

两类关键趋势：

协同信号注入：
- 模型层面：引入CRM为LLM提供协同信息（如CTRL框架）
- 数据层面：结合推荐场景数据与微调技术增强LLM能力
知识对齐与适配：
- 因子化提示（Factorization Prompting）：将用户偏好动态分解为关键子因素，分离推理用户兴趣与物品知识
- 多专家网络适配：通过知识提取、压缩和映射，将LLM生成的文本信息适配至推荐空间（保留有效信息并降维去噪）
- 混合多任务学习：在推荐流程中同时建模协同信号与语义信号（如CTRL实现表格数据与文本数据的双向知识对齐）

代表性框架包括：

KAR：通过参数高效微调和跨模态对齐解决构成差距问题（Compositional Gap）
CTRL：融合表格数据与LLM的跨模型知识对齐方法，通过Prompt构造和对比学习实现信息融合

技术效果：

在9个SOTA推荐算法中平均AUC提升15%（3‰以上为显著）
推理效率与传统模型相当，且显著低于纯LLM的时延
联合使用用户推理知识与物品事实知识效果最优

04 挑战与展望

主要挑战：

训练效率问题：显存占用高、训练时间长，需采用参数高效微调（PEFT）或分阶段更新策略
推理时延：需通过预存结果、模型蒸馏/剪枝/量化降低计算复杂度
长文本建模：用户序列过长、候选集规模大易超出LLM上下文窗口限制，需设计文本过滤与重构策略
ID特征处理：纯ID类特征缺乏语义信息，需探索更适合的索引与建模方法

未来展望：

稀疏场景缓解：利用LLM的zero-shot和few-shot能力解决冷启动与长尾问题
外部知识融合：引入LLM的通用知识丰富物品信息（尤其资讯类场景）
交互体验提升：通过交互式界面实现用户需求精准捕捉
流程重构：LLM角色从编码器/打分器向外扩展，参与特征工程和流程控制
语义协同兼顾：需通过微调或CRM引入实现领域知识适配

总结

LLM与推荐系统的融合通过WHERE（场景适配）和HOW（技术方案）实现，关键路径包括：

在特征工程环节提取用户画像和物品知识
在特征编码环节增强语义表示
在打分/排序环节结合生成与评分任务
在流程控制环节构建对话式推荐框架

技术方案侧重通过协同信号注入和知识对齐适配，解决LLM的构成差距问题。尽管面临训练效率、推理时延等挑战，其通用性（9个算法AUC提升15%）和可落地性（推理效率与传统模型相当）已显现潜力。未来需优化文本建模逻辑、ID特征处理策略，并推动LLM在推荐系统中的角色拓展，实现语义与协同信号的深度融合。

展开完整摘要