大模型在华为推荐场景中的探索和应用_33页_5mb

大模型在华为推荐场景中的探索和应用

演讲人：陈渤
单位：华为诺亚方舟实验室高级算法工程师

目录

1. 背景
2. LLM在推荐系统中的角色
3. LLM在特征工程中的应用
4. LLM在排序中的应用
5. 总结与展望

1. 背景

推荐系统的挑战与发展

在信息过载的时代，推荐系统的作用日益凸显：

• 目标：为用户推荐感兴趣的内容，提高用户体验；帮助广告主精准投放，挖掘潜在客户；提升平台服务质量和收益。
• 传统推荐系统的局限：
  • 数据多：依赖用户-物品交互数据，但协同信号可能缺失。
  • 模型大：计算复杂度高，难以处理海量样本。
• 大模型的优势：
  • 引入外部知识：丰富语义信号。
  • 跨域推荐：适合冷启动和长尾场景。

2. LLM在推荐系统中的角色

LLM4Rec及其工业应用

LLM4Rec 将推荐系统工作分为四个象限，取决于训练和推理中是否微调大模型和引入传统推荐模型（CRM）：

LLM4Rec有两种趋势：

• 语义+协同：通过CRM为LLM注入协同信号。
• 数据增强：通过结合推荐场景数据，微调LLM。

3. LLM在特征工程与特征编码中的应用

知识增强框架：KAR

传统推荐系统是封闭系统，依赖内部数据和知识，难以应对冷启动和数据稀疏问题。引入大语言模型可以：

• 获取世界知识：用开放字典知识辅助推荐系统。
• 逻辑推理能力：深入理解用户行为动机和偏好。
• 技术方法：
  • 知识推理与生成：分解用户偏好，对LLM提问生成文本。
  • 知识适配：提取、压缩知识映射到推荐空间。
  • 鲁棒性利用：生成的标签作为额外特征输入推荐模型。

实验效果：

• 在9个SOTA推荐模型中，平均AUC提升1%以上。
• 华为音乐上线后，播放次数、设备数、时长均有显著提升。
• 实验结果显示，知识推理、知识升级、精准表示均有效提升了推荐性能。

4. LLM在排序与特征编码中的应用

长序列理解的改进：ReLLa

由于LLM本身长序列理解能力有限，ReLLa提出了检索增强策略：

• 方法：
  • 检索用户序列中最相关的子序列。
  • 对LLM输入进行精简，提高长序列理解能力。

实验结果：

• 在小样本微调场景中，ReLLa显著提升推荐性能。
• 序列长度增加时，传统ID-based模型效果下降，而LLM结合RecLLa可以克服此问题。

5. 总结与展望

总结要点

• LLM的优势：

  • 具备丰富世界知识，语义表达能力强。
  • 在推荐系统中角色多样化：特征生成、互动对话、排序优化等。

• 与传统方法的融合趋势：

  • 注入协同信号、实现知识共享，提升推荐效果。
  • 突破数据稀疏，提升冷启动能力和跨域推荐性能。

挑战与展望

• ID特征的索引与建模：探索个性化检索、语义密度提升。
• 长文本建模：通过检索、压缩技术提高输入李强建模能力。
• 训练效率：优化大模型训练，增大微调灵活性。
• 推理时延：提升推理速度，实现LLM的高效部署。
• 关键演进路径：从“协同+语义”的协同融合，迈向“文字协同”的统一。

THANKS
智能未来，探索AI无限可能。