扩散模型如何做好可控生成？基于奖励引导的控制生成用于扩散模型中的推理时对齐：教程与综述_64页_1mb

总结

核心内容

这篇报告探讨了在扩散模型推理阶段优化下游奖励函数的引导和对齐技术。作者从统一框架出发，介绍了推理时算法，旨在结合预训练去噪过程和值函数来近似软最优去噪策略，从而在不需微调的情况下最大化特定功能（如蛋白质稳定性）。覆盖了多种方法，包括基于序列蒙特卡洛（SMC）的引导、值函数的重要性采样、分类器引导等，并分析了它们在计算效率、奖励类型和可微性上的适用性。

核心方法和框架

• 统一框架：所有方法以上述软最优去噪策略为基础，使用值函数作为预测未来奖励的软值函数。公式通过Doob变换在连续时间模型中形式化，但离散时间模型同样适用。
• 推理时技术的分类：
  • 无导数方法：如SMC引导和值函数重要性采样，适用于分子设计中的非可微奖励。
  • 有导数方法：如分类器引导，适用于构建不同既单位奖励模型的场景，如计算机视觉任务。
• 混合方法：如嵌套SMC，结合了无导数和有导数方法的优势。
• 搜索算法：如蒙特卡洛树搜索（MCTS），用于复杂优化问题，提高搜索效率。
• 应用于蛋白质设计：通过分离序列/结构模型，展示了推理时技术在优化蛋白质功能指标（如亲和性、稳定性）中的潜力。

应用于蛋白质设计

报告重点讨论了蛋白质设计中的应用，包括预训练扩散模型（如纯序列模型、结构导向模型）和奖励模型的选择（如使用AlphaFold预测结果）。推理时技术可以生成天然序列，同时满足高功能性和自然性约束。编辑和迭代细化过程进一步扩展了这些方法的应用。

其他方面

• 与语言模型的比较：类似技术也可应用于自回归模型和掩码语言模型。
• 与后训练方法的对比：推理时技术在实现性、稳定性和计算效率上更具优势，尤其在非可微奖励场景中。
• 未来发展：联合微调与推理时技术，以及采用如“猜想法”等加速方法，可进一步扩展这些方法的有效性。

总之，这篇报告为扩散模型在推理阶段的可控生成提供了全面概述，强调了其在实际应用，尤其是分子设计中的潜力。