2024适于电力系统的深度强化学习方法探索报告-东南大学_3页_10mb

适于电力系统的深度强化学习方法探索总结

核心内容

本文探讨了深度强化学习（DRL）在电力系统中的应用，特别是针对电力系统中具有强时序相关性和多步决策优化问题的解决方法。文章提出了两种主要的深度强化学习策略搜索方法：两阶段“全局-局部”策略搜索方法 和 基于课程学习的策略搜索方法，旨在提高电力系统策略训练的效率和质量。

主要观点

1. 强化学习在电力系统中的优势

• 快速决策：强化学习可以快速适应系统状态变化，做出实时决策。
• 轻量部署：强化学习模型可以部署在边缘计算设备上，适应分布式控制需求。
• 适于复杂问题：能够处理电力系统中复杂的约束和不确定性问题。
• 端到端优化：无需显式建模系统动态，直接从数据中学习策略。

2. 传统优化方法的局限性

• 模型预测控制 (MPC)：虽然具有最优性保障和显式约束表达，但需要实时计算，且系统模型可能需简化。
• 收敛性与实时性：在高维参数和复杂问题下，传统方法难以获得有效策略，且计算成本较高。

3. 学习辅助型优化方法

• 可微规划 (Differentiable Programming)：利用深度学习框架（如PyTorch）对优化问题进行建模，实现控制策略的训练。
• 学习加速型ADMM：通过循环神经网络预测ADMM的收敛轨迹，加速分布式优化问题的求解。

关键信息

1. 两阶段“全局-局部”策略搜索方法

• 目标：解决电力系统中多步长决策优化问题，提升策略训练效率。
• 方法：
  • 第一阶段：使用基于零阶梯度估计（ZOE）的强化学习方法，进行全局搜索。
  • 第二阶段：使用基于策略梯度（如Proximal Policy Optimization）的方法，进行局部微调。
• 优势：
  • 第一阶段具有高度并行性，快速梯度估计，不依赖反向传播。
  • 第二阶段具有更强的局部搜索能力，能够优化原目标函数。
• 缺点：
  • 第一阶段策略更新可能偏离原问题最优解。
  • 第二阶段依赖反向传播，计算量大，策略更新保守。

2. 基于课程学习的策略搜索方法

• 目标：解决配电网关键负荷恢复（CLR）问题，提升策略的鲁棒性和训练效率。
• 方法：
  • 课程学习：将复杂问题分解为多个子问题，按难度逐步训练。
  • 训练课程设计：根据问题复杂性，将决策问题拆分为多个子问题，逐步提升难度。
• 优势：
  • 有效提升策略的收敛性和稳定性。
  • 在不确定性环境下表现更优，对预测误差具有更强鲁棒性。
• 应用：
  • 适用于多代理强化学习的分布式优化问题。
  • 能够在配电网恢复中实现关键负荷的优先恢复。

电力系统应用案例

1. 智能建筑空调需求响应控制

• 问题设置：多热力分区的商用建筑空调控制，需在满足温度和出风量约束的前提下，优化整体能耗和舒适度。
• 策略训练：使用两阶段“全局-局部”策略搜索方法，结合零阶梯度估计和策略梯度方法。
• 部署框架：基于“边缘-云计算”协同控制框架，实现数据到模型再到决策的闭环。

2. 配电网关键负荷恢复（CLR）

• 问题背景：在极端事件导致系统脱离正常运行的情况下，如何快速恢复关键负荷。
• 系统模型：
  • 状态包括系统当前状态和后续动态轨迹信息。
  • 动作为每个时刻的决策变量。
  • 奖励函数结合当前决策的评估与系统恢复效果。
• 训练方法：基于课程学习的强化学习方法，通过逐步增加任务难度，提升策略的适应性和性能。

研究对比与分析

• 强化学习与传统方法对比：
  • 在不确定性环境下，强化学习方法表现出更强的鲁棒性。
  • 传统方法在预测误差增加时控制性能下降。
• 课程学习方法与直接训练对比：
  • 课程学习方法在训练效率和策略稳定性方面优于直接训练方法。
  • 通过分阶段训练，有效减少训练样本需求，提高策略收敛性。

其他相关研究

• 原始-对偶可微规划：用于配电网关键负荷恢复，结合优化原理与深度学习，实现满足约束的策略训练。
• 学习辅助型ADMM：用于求解分布式直流最优潮流（DC-OPF），通过预测收敛轨迹加速优化过程。
• 统一测试平台：为多种优化控制方法提供测试环境，便于比较不同方法的性能。

开源代码与资源

• 基于课程学习的配电网关键负荷恢复：https://github.com/NREL/rclcfr
• 多种优化控制方法统一测试平台：https://github.com/NREL/learning-building-control

总结

本文系统地探讨了深度强化学习在电力系统中的应用，提出两种有效的策略搜索方法，并通过实际案例验证了其在智能建筑控制和配电网关键负荷恢复中的有效性。同时，文章对比了多种优化方法的优缺点，为未来电力系统控制策略的设计提供了理论支持和实践指导。