中国科学技术大学：2023大模型推荐技术及展望报告_40页_6mb

大模型推荐技术总结

推荐系统挑战

• 用户行为多样、模式复杂，受外界因素影响。
• 物品间关联低频，理解不足，导致泛化能力差和推荐不满意。

LLM简介与NLP发展

• NLP领域从早期统计模型、字典规则到深度神经网络，再到大型语言模型(LLM)时代。
• LLM基于Transformer架构，结合预训练和微调，提供强大的文本表示和泛化能力。

LLM赋能推荐系统

• 核心方法: 使用Transformer和self-attention机制，文本作为主要表示，无需item ID。
• Learning范式: 包括预训练-微调、提示学习、指令调整，实现任务级学习而非样本级学习。
• 泛化能力: 支持少样本、零样本、跨域、跨域知识和个性化生成，如序列推荐、可解释推荐和对话推荐。
• 示例方法: TextIsAllYouNeed (使用序列数据)、Prompt学习、M6模型等。

主要方法与实验

• TextIsAllYouNeed: 利用文本序列进行推荐，需处理长文本（如使用Longformer）。
• Prompt学习: 通过任务Prompt优化推荐性能，例如在推荐新闻或电影时应用特定提示。
• 通用挑战: LLM调优计算成本高，生成能力局限，需轻量级微调框架（如LLM4Rec）。
• 效果评估: 实验显示方法如BIGRec提升NDCG和HR指标，尤其在包含流行度偏见的数据集上。

大模型推荐展望

• 个性化提示优化: 对抗LLM黑盒特性，通过强化学习决策提示模式。
• 新推荐范式: 生成性推荐(Generative Recommendation)，应用包括自然语言对话、AI生成内容等。
• 避免偏见: LLM可能继承社会偏见，需进行公平性评估和保护弱势群体。
• 现实世界应用: 探索生成聊天机器人、开放世界推荐等。

挑战与解决

• 优化问题: 大模型推理和生成效率低，需轻量化框架和自适应提示。
• 偏见问题: 研究公平推荐，如ChatGPT偏见评估基准。
• 展望: 推动大模型在推荐领域的工业化统一，保持生成灵活性并融入统计信息。

结论

• LLM为推荐系统带来开放端能力，解决部分传统问题，但仍面临优化和偏见等挑战。
• 未来发展聚焦于个性化、鲁棒性提升和公平性保障。