电力论文哪里有？为应对新能源发电的间歇性对配电网电压的影响，本文提出一种适用于通信设施相对落后的配电网的就地协同控制策略。将逆变器协同优化问题转化为马尔可夫博弈，每个逆变器建模为一个基于动作-评价框架的深度强化学习智能体，采用中心式训练框架协同训练多个智能体。
第一章 绪论
1.2 国内外研究现状
近年来，国内外相关学者对主动配电网电压控制策略开展了大量的研究和探索，并取得了诸多富有价值的研究成果。本节对主动配电网电压控制相关研究进行梳理总结，首先对主动配电网电压调节手段进行介绍，并在此基础上对主动配电网电压控制框架进行分类，按照就地控制、集中式控制、分布式控制和多时间尺度控制四种方式展开，分别分析其特征并开展相关研究综述。
1.2.1 主动配电网电压调节方式
主动配电网电压调节方式主要有：配电网重构、变压器分接头调节、无功补偿装置调节、逆变器无功功率调整、储能装置充放电控制和新能源发电有功削减等，具体展开如下：
配电网重构是指运行人员通过对分段开关和联络开关的开断、闭合操作来改变网络的拓扑结构，进而优化潮流分布，均衡负荷，提高电压质量，降低网损，提高供电可靠性[14-16]。动态重构作为配电网主动管控的措施之一，可以提高新能源消纳水平，提高供电可靠性和经济性，因此近年来受到国内外学者的广泛关注。由于重构的动作量为二进制变量，且重构过程需考虑非线性潮流计算约束，因此，配电网动态重构是一个混合整数非线性优化问题，目前求解方法分为三种：传统数学方法[17-18]、启发式算法[19-20]和人工智能方法[21-22]。传统数学方法可以找到全局最优解，但是计算时间较长，且存在维数灾问题；启发式算法求解过程简单，但是无法保证所得解为全局最优，且计算时间长；人工智能算法可以快速给出决策，但是无法保证解的全局最优性。
第三章 基于智慧分区的配电网分区协同电压控制策略
3.1 引言
近年来，随着光伏发电成本的降低以及国家鼓励支持政策的出台，配电网接入的小容量分布式光伏数量逐年增多，这些光伏发电的接入对配电网的安全稳定运行带来了挑战。如何实现高比例可再生能源接入下配电网电压的实时优化控制成为困扰运行人员的难题。传统的集中式控制方法在面对优化变量和节点数较多的情况时，计算量较大，难以应对新能源发电间歇性造成的电压的快速波动。并且，集中式控制方法依赖于完善的通信设施，投资成本较高。本文第二章所提就地控制策略可以进行实时的优化调度，以应对电压的快速波动，然而，在面对高比例新能源接入的配电网时，可控装置较多，此时多智能体策略空间大幅增长，就地控制策略难以学到较好的协同控制策略。
为此，文献[90-92]提出基于配电网分区的分布式控制策略。分区控制策略首先将配电网分成多个子网络，然后采用分布式算法并行求解，从而将一个规模较大的优化问题分解为多个规模较小的问题，以满足高比例可再生能源接入下大规模配电网的控制需求。然而，目前该类方法集群间协同的取得依赖于集群间相互的通信来实现，这在一定程度上降低了调度指令的求解速度。
为实现高比例可再生能源接入下配电网电压的实时优化，本章提出一种基于智慧分区-多智能体的配电网分区协同控制策略，可以在不依赖于集群间通信的情况下实现配电网多集群协同控制。基于电压-无功灵敏度矩阵定义电气距离，采用谱聚类算法将配电网分成多个子区域，解耦子区域间耦合关联，形成区域内节点高内聚，区域间节点低耦合的分区格局。将多集群协同优化问题建模为马尔可夫博弈，采用多个智能体依次建模每个子分区，基于中心式训练框架协同训练多个智能体，并引入注意力机制提升智能体间协同性。当训练完成后，多个智能体分布式放置，每个智能体依据最新局部信息实时调节区域内可控装置，应对新能源出力快速变化造成的电压波动。
第五章 配电网数据驱动型分层分区协同电压控制策略
5.1 引言
前两章介绍的控制策略中使用的控制设备主要包括光伏逆变器和静止无功补偿器，然而，配电网通常还配备有载调压变压器和并联电容器组，只考虑光伏逆变器和无功补偿器的控制忽略了它们和有载调压变压器以及并联电容器的协同，无法充分调度各种可控设备的调节能力来优化配电网运行。有载调压变压器和并联电容器属于机械式设备，它们的响应速度较慢，且由于寿命的限制，无法频繁动作，因此这类设备的控制时间尺度通常较长。而光伏逆变器和静止无功补偿器属于电力电子设备，其具有响应速度快，可频繁动作以及可连续调节的特点，所以这类设备可以在短时间内多次动作。由于两种类型设备控制的时间尺度不同，它们的协同控制通常建模为一个多时间尺度优化问题。本章综合考虑有载调压变压器和并联电容器等机械式设备，以及光伏逆变器等电力电子设备，开展配电网多时间尺度电压控制策略研究。
文献[94]提出一种基于双阶段随机规划的电压-无功控制策略，然而，随机规划方法无法实现实时的优化，因此无法利用电力电子设备可快速调节的特性来应对新能源的间歇性造成的电压的快速波动；文献[96]提出基于集中-分布式框架的分层控制策略，机械式设备基于天前预测信息采用集中式控制，而电力电子设备基于分布式框架实现快速控制，然而，该方法无法实现两层设备间的协同控制；并且，以上控制策略均依赖于配电网精确的物理模型，而配电网精确的模型参数在现实中不仅难以获取，而且受诸多不确定因素影响。
5.2 数据驱动型分层分区协同控制方法
本章提出的数据驱动型分层分区控制方法的结构如图 5-1 所示。其主要由三部分构成：代理模型，上层智能体和下层智能体。
5.2.1 所提方法框架图
代理模型：代理模型是利用历史运行数据通过有监督学习的方式来训练一个潮流估计器，旨在当给出各节点的有功、无功功率的情况下估计节点电压幅值。
上层智能体：上层智能体负责机械式设备的控制。在每个时间步长 t，上层智能体依据全局信息通过调节有载调压变压器分接头位置和控制并联电容器投切来最小化整体电压偏移和长期动作次数。
下层智能体：下层智能体负责电力电子类型设备的控制。首先根据分区策略将配电网分区，然后将每个子分区建模为一个智能体，在每个时间间隔 ，每个智能体依据所负责的子网络的局部信息以及有载调压变压器分接头位置和并联电容器状态信息来控制对应子区域内的光伏逆变器。
对于慢时间尺度控制问题，把考虑长期动作回报的优化问题建模为马尔可夫决策过程，然后采用 SAC 算法求解，以最小化整体电压偏移和长期动作次数；对于快时间尺度控制问题，通过分区把集中式控制问题转化为分布式控制，并进一步建模为马尔可夫博弈，然后采用基于中心式训练-分布式执行框架的多智能体算法求解。为了稳定训练过程，下层多智能体首先训练，当训练完成后和上层智能体协同交互训练。通过设计层间通信机制实现在交互训练过程中的层间协同。
第六章 总结与展望
6.2 后续工作展望
本文对配电网分布式电压控制及代理模型等相关问题开展了研究，然而，由于时间的限制，本文所做工作仍存在一定的不足，后续工作将从以下几个方面来完善现有研究工作：
（1）考虑大规模电动汽车接入的配电网电压控制策略
本文考虑了高比例新能源接入对配电网电压的影响，通过协调控制有载调压变压器和并联电容器等机械式设备，以及光伏逆变器和静止无功补偿器等电力电子设备调节系统电压。然而，近年来随着电动汽车的快速发展，配电网中电动汽车的接入数量逐渐增多。电动汽车大规模接入会对配电网电压造成较大的影响，无序的充电行为会给配电网带来电压越限的风险；同时，由于目前很多电动汽车都配备了反向充电装置，可以利用电池的电量给电网充电，因此，合理的控制电动汽车的充放电行为可以辅助配电网调节负荷和电压的分布。然而，由于汽车用户的出行具有随机性，因此，在电动汽车参与的配电网优化问题中需考虑新能源出力，负荷用电需求以及电动汽车用户出行等诸多不确定性的影响，同时，由于电池的优化是一个惯序控制问题，在优化当前动作时需考虑未来的不确定性，这些都增大了优化问题的复杂度，需要更先进的建模方法和求解算法。因此，考虑大规模电动汽车和高比例可再生能源接入的配电网电压控制策略是未来的研究重点。
（2）考虑系统动态变化及测量不确定性的代理模型建模
本文提出的代理模型需要一定数量的历史运行数据，包含各节点的有功、无功功率以及节点电压的幅值。然而，实际记录的历史数据通常包含一定的噪声，并且，通常存在数据缺失的情况。如何在考虑实际测量数据的不确定性的前提下保证代理模型的精度是未来重点的研究方向。
参考文献（略）
