【天津大学（张沛）】2024强化学习在电力系统优化调度应用研究报告_17页_4mb

报告摘要

强化学习在电力系统优化调度应用研究总结

核心内容概述

本文围绕强化学习（RL）在电力系统动态经济调度（DED）中的应用展开研究，重点分析了基于近端策略优化算法（PPO）和生成对抗模仿学习（GAIL）的两种方法，并通过IEEE14系统进行算例验证。研究旨在解决传统调度方法在不确定性、收敛性、训练效率等方面存在的不足，提升电力系统调度的经济性与灵活性。

主要观点与关键信息

1. 现有研究不足

不确定性经济调度：传统方法如随机规划法依赖概率分布信息，计算量大；鲁棒优化法计算量小但结果过于保守。
单一时刻最优潮流算法（SCOPF）：虽然能保证单一时刻的最优性，但在面对长期调度和不确定性时表现不佳。
深度强化学习（DRL）的挑战：缺乏先验知识引导，动作探索空间大，导致收敛困难、训练时间长；奖励函数人为定义，主观性强，调参难度高。

研究思路

动态经济调度：追求长期最优性，考虑多个时间断面的优化，实现调度周期内的经济性最优。
PPO方法：利用强化学习算法对环境模型无依赖，适合处理复杂的调度问题。
GAIL方法：引入模仿学习思想，通过生成对抗网络（GAN）与强化学习（RL）结合，利用完美调度策略作为指导，避免人为设置奖励函数。

技术实施路线

PPO算法：通过**动作网络（Actor）和评价网络（Critic）**实现策略优化，动作网络输出动作概率分布，评价网络估计状态价值。
状态空间：包含时间、负荷预测、新能源预测、当前机组出力等信息，维度为21。
动作空间：机组出力分配，维度为5。
即时奖励函数：综合考虑发电成本、调节成本、节点电压越限、线路潮流越限等惩罚项，以实现经济性与系统安全的平衡。
训练方式：采用离线训练与在线应用一体化的方式，提高模型的实用性与实时性。

算例分析——IEEE14系统

系统参数

火电机组共5台，风光渗透率38.5%。
状态空间维度为21，动作空间维度为5。
PPO训练时长为12小时，GAIL训练时长为3小时。

模型性能对比

算法	调度误差	决策时间（秒）
GAIL	3.368	0.0025
PPO	3.977	0.0029
SCOPF	5.095	0.0327

GAIL在调度误差和决策时间方面均优于PPO和SCOPF，展现出更高的调度精度与效率。
PPO在决策时间上略优于SCOPF，但调度误差更高，表明其在处理不确定性方面仍存在改进空间。
SCOPF在决策时间上明显较长，且调度误差较大，表明其在面对动态不确定性时表现不足。

算法原理与实现

PPO算法原理

PPO是基于Actor-Critic框架的强化学习算法，适用于连续状态与动作空间。
通过限制策略更新的幅度，保证算法的收敛性与稳定性。
公式如下：

$$
\max_{\theta} L^{CLIP}(\theta) = \hat{\mathrm{E}}_t \left[ \min \left(r_t(\theta) \hat{A}_t, \operatorname{clip}\left(r_t(\theta), 1 - \varepsilon, 1 + \varepsilon\right) \hat{A}_t \right] \right]
$$