华为：推荐系统如何从大语言模型中取长补短：从应用视角出发（2023）_31页_3mb

推荐系统与大语言模型融合报告总结

1. 背景与问题

• 传统推荐系统的局限：模型较小，语义信息不足，缺乏深度意图推理和外部知识。
• 大语言模型的优势：引入开放世界知识，具备跨域推荐能力，适合冷启动场景。
• 核心问题：如何将大语言模型（LLM）的优势与推荐系统结合，提升推荐性能和用户体验。

2. 何处运用大语言模型（WHERE）

• 特征工程：
  • 丰富用户画像、理解推荐内容、样本扩充（如新闻推荐中的GENRE）。
• 特征编码：
  • 强化文本特征（用户/物品表征）和跨场景迁移能力（如U-BERT、UniSRec）。
• 打分/排序：
  • 逐一评分（ItemScoring）、生成候选列表（ItemGeneration）、混合任务（如P5）。
• 流程控制：
  • 对话式推荐系统集成各模块（如RecLLM）。

3. 如何运用大语言模型（HOW）

两个核心趋势：

• 趋势1：引入传统推荐模型（CRM）与LLM结合
  • 通过CRM注入协同信号，综合模型和数据的优化。
  • 技术方案：Factorization Prompting，分解用户兴趣因子；多专家网络适配知识文本（如KAR、CTRL）。
• 趋势2：模型微调与数据注入
  • 微调LLM并融入推荐场景数据，提升语义对齐和推理能力（如CTRL、文本建模）。
  • 解决方法：知识对齐、跨模态对比学习、领域适应。

4. 挑战与展望

• 训练与推理：
  • 训练效率低、推理时延问题，可通过参数高效微调、预存结果或降低模型规模解决。
• 长文本与ID建模：
  • 长候选序列、上下文窗口限制、ID特征语义缺失，需采用过滤、重构和新索引策略。
• 未来方向：
  • 利用LLM解决冷启动和长尾问题，丰富推荐物品的外部知识，改善交互体验。
  • LLM将突破传统角色（编码器/打分器），向流程控制延伸；语义协同与跨域知识融合需通过模型/数据优化实现。

总结：大语言模型可通过特征工程、特征编码、打分排序等多阶段赋能推荐系统，提升推荐性能。关键趋势包括与传统推荐模型结合及模型微调。未来需持续优化训练效率、上下文建模及知识对齐策略。