本文主要研究了不同类型微电网的能源调度问题以及算法的改进，首先，对于居民园区微电网，给出了基于电价引导式的调度策略，通过电价控制来对负荷进行削峰填谷、提高用户满意度、提高微电网经济效益，在这一章节中，我们通过确定该模型为小维度的数学模型，选用了针对该模型的异步强化学习算法，并在理论上对其分析改进，提出了“经验增益复用”的概念以及动态决策，仿真结果也证明该模型与算法符合理论结果。同时，根据其多能源多属性的特质，确定了其为较高维度的数学模型，选择用了基于遗传算法的强化学习，并且对空间分割进行了定义阐述，在这基础上，提出了与空间相关的DQSA算法，并进行理论分析证明，最后在仿真中验证了模型的可靠性以及算法的优越性。
........
第一章绪论
尽管国内外对于微电网的研究已经取得了许多优秀的成果，但对于多能源调度策略这一方面较为薄弱，特别是将电能、天然气、风光能等多种能源进行互补利用。同时，不同的应用场景建立的模型也截然不同，目标函数也不一样，本论文将通过分别描述居民园区微电网、工业园区微电网以及多个微电网形成的智能电网，集合了强化学习、遗传算法等理论，并根据场景，制定不同的目标，给出了多种能源调度优化方案，实现了微电网的效益最大化，论文主要通过以下三个部分分别叙述：第一部分是针对居民园区微电网，需要同时满足微电网的经济效益以及用户的用电需求，根据其用电负荷特性，制定对应的电价策略，建立电价引导式的微电网模型，针对其低维度的数学模型，在强化学习的基础上，采用了异步强化学习，并提出了“增益复用”且在理论上给予相关证明最后进行验证。第二部分是针对工业园区微电网，与居民园区微电网不同的是，工业园区微电网可以通过风能光能潮汐能等可再生能源自给自足，而其建模强调为多能源统筹、电网的稳定性以及经济效益。根据其多能源高维度的数学特性，在强化学习基础上融入了空间分割，并提出了强化学习与遗传算法相结合的算法。第三部分是针对智能电网中的多微电网问题，通过分析多个微电网的参与电能交易时，如何选取与每个对象的交易量，从而提高自身的经济效益。该部分通过博弈论构建多个微电网动态博弈的模型，并分析其纳什均衡并予以证明其唯一性，通过强化学习来进行仿真求解并验证了改进算法的优越性。
......
第二章智能电网框架以及算法理论
2.1智能电网框架智能电网主要框架
本章是以微电网为主体，考虑了微电网既能够独立运行，又可以与主电网进行电量交互用作辅助协调作用，对于微电网本身而言，能够有效地利用分布式能源匹配电能需求，满足用户需求，减少对主电网的依赖，在多能源优化方面有着很高的灵活性。而针对单一的微电网系统，不同类型、不同能源系统的微电网会有不同的控制策略，以此实现多样化的控制手段；结合当前信息技术在智能电网的飞速发展，通信技术越来越成熟，微电网之间的联系越来越紧密，微电网用户可以参与到电力市场中进行电能交易满足自身的需求，所以也可将由多个微电网组成的系统称为智能电网。如图2-1所示，整个微电网系统由主电网、调度中心、工业园区微电网以及居民园区微电网组成，主电网功能是提供电能，与园区微电网的配电网相连接以传输电能，工业园区微电网和居民园区微电网作为两个不同类型的微电网，相互连接通信，其中，工业园区微电网因为用电量较大，从主电网中购买的电能也会相对较多，又因为位于较为偏远的地区，所以分布式能源发电量也会高于居民区微电网；居民园区微电网等同于传统的微电网。调度中心可以提供控制策略来进行微电网调度。
2.2能源系统数学模型
微电网促进整个智能电网向着高效、环保且经济的方向发展，其中，随着信息技术的发展，微电网不仅为智能电网提供清洁环保的可再生能源，并且与主电网互相协调互相耦合[40]，同时，微电网在运行过程中如何保持高效的功率、注重可再生能源的使用以及维持富裕的电量的同时，兼顾供给方和负载的需求，这也是许多学者一直考虑的问题。关于能源系统如图2-2所示，一般由储能系统(BA)、光伏发电系统(PV)、风能发电系统(WT)以及能量转换装置等组成，通过联络线并网运行，并且将电流统一成交流电输送到配电网，以下将详细介绍每一种能源系统。随着信息技术的不断发展，智能电网在资源利用率以及运行效益方面也在不断提高，这其中，分布式能源与储能技术的结合、现代算法与交易策略的融合至关重要。对于一个微电网，决策者应该根据其地理位置、运行情况、服务对象来决定使用哪种调度策略，如图2-3所示，所需技术作为整个系统的前提条件，是必不可少的；理论算法是实现控制策略的一种手段；而控制策略是微电网能够采取的应对措施，是模型层面上的；实现目标是控制策略最后达成的效果衡量标准。本小节将从主要调度策略以及期望实现目标来详细阐述。
......
第三章基于异步强化学习的居民园区微电网能源调度研究...................................19
3.1数学模型...........................................................................................................19
3.2异步强化学习...................................................................................................21
3.3动态异步强化学习...........................................................................................26
第四章基于GA-强化学习的工业园区微电网能源调度研究..................................40
4.1基于单微电网的数学模型...............................................................................40
4.2基于多微电网的数学模型...............................................................................43
第五章总结...................................................................................................................68
.....
第四章基于GA-强化学习的工业园区微电网能源调度研究
4.1基于单微电网的数学模型
对比于前一章节的居民园区微电网，工业园区微电网是一个截然不同的对象，不仅体现在其构造以及环境上，而且调度策略也是不同的。因其一般位于可再生能源较为充足的偏远地区，所以有必要将光伏能以及风能发电考虑在内；同时，为了更好地描述全局的规划策略，本章节控制策略采用全局能源调度，即决策者在某个时间点进行控制能源的转换流动。工业园区对于生产的安全性有更高的要求，所以在制定目标时也与居民园区不相同，同时本章节引入了权重分析，通过对数值的分析确定最好的权重方案；同时，本章节将从单个微电网以及多个微电网两个方面来分析，为了更好地得到最优解，在第三章节的基础上，提出了与遗传算法相结合的强化学习，对于状态量增多的较高维度的工业区园区模型，求解速度更快，收敛精度更高。同时根据有不少学者的研究表明，第三章的异步强化学习在针对小维度的数学模型有不错的效果，本章节的算法是针对较高维度的数学模型，而该类算法如果应用到较小维度算法可能会因为其数据量过小、重复无用迭代等因素导致运算时间反而过长甚至无法收敛等情况[69]，所以模型的维度与算法也存在着匹配性。该章节也将针对该问题从运行效率以及时间复杂度作分析。
4.2基于多微电网的数学模型
图4-2描述了微电网之间的系统模型，假设该地区有N个工业园区微电网，表示为NiM)),...,2,1((i，每一个微电网都可以看作为一个智能体，并同时与主电网相连接，微电网可以与其它微电网以及主电网进行电能交易，来满足自身对电量的需求，同时，微电网之间可以通过网络通信等实现信息共享，将整个体系称为一个智能电网。针对上述的工业园区微电网，提出的控制策略是全局的能源调度，与第三章的控制策略不同，这种控制策略是针对储能装置中能源的变动，因为工业园区涉及多种能源模块，所以该数学模型是一个较高维度的模型矩阵，为了解决该问题，采用了文献[75]提出的将空间分割与强化学习相结合的算法，其理论虽然没有直接提到遗传算法对高维度模型的求解，但通过对空间的分割以及群体规模的求解表明了其在高维度空间中的求解潜力，本小节将通过叙述GA-Q算法与异步强化学习的不同之处来展开。
.......
#p#分页标题#e#
第五章总结
接着针对多个工业园区微电网，根据多个微电网之间的相互交易的场景，提出了微电网之间的合作型的动态博弈，并对这种博弈进行了分析，证明了其存在纳什均衡，并通过强化学习得到了该最优的电能交易策略，确认了改进后强化学习的优越性，在仿真中证实了该理论既能够提高每一个微电网参与者的利益，还能提高微电网之间的联系，符合社会的实际需求。本课题在对微电网的策略以及算法研究上，仍存在不足之处，有以下几点：1.本文应用于微电网能源调度的方法是强化学习，也就是基于强化学习的优化方法，但针对本微电网模型中，有些变量为假设变量，但实际上应该是有实际数据支撑，但由于微电网的数据并不是完全透明以及对实际场景接触较少，所以只能通过文献中或者网络上的数据进行分析拟合，例如居民园区或者工业园区用户习惯的不同、电动汽车的实时大数据等，这就可能存在仿真与实际有所偏差的情况，所以如何建立好模型是该类问题的关键。
参考文献（略）
参考文献（略）
