基于智能算法的能源互联网能源协同优化研究

本文是计算机论文，本文以园区能源互联网为切入点，研究能源互联网中能源协同优化相关内容，具体的考量了成本、环境以及鲁棒性等指标，构建面向园区能源互联网的能源协同优化模型，并借用多目标优化算法、强化学习等智能算法去解决所面对的问题。本文对园区能源互联网中能源协同优化研究的内容如下：（1）研究多园区环境下的能源协同优化问题。以多园区能源互联网为切入点，深入剖析他们能源协同优化情况。由于多园区下的情况更加复杂，利益关系难以厘清，因而引入了博弈论的思想，并将它们分割成多个以自我利益为中心的博弈智能体。最后引入同样遵循马氏博弈性质的Q-Learning去解决多个智能体间的博弈问题，效果良好。本文重点研究了园区能源互联网环境下的能源协同优化问题，并进行了从单园区到多园区的深入研究。提出面向单园区环境下的能源协同优化模型和改进的多目标进化算法。然后提出面向多园区环境下的多智能体博弈优化模型和博弈强化学习算法。

第一章绪论

在研究过程中都能够充分考虑到所研究范畴中产、消双方的经济性等指标，并能够合理建模。但大多考虑唯一的能源互联网，并未对多网的复杂环境作深入探究。而在面对多网的更加复杂的能源系统对象时，需要控制的变量维度将会成为灾难，同时一般性的优化方式显得主观性较强。多种因素的交织使得很多学者转向园区能源互联网的研究中。面向园区能源互联网的环境，依旧更多的是关注能源的协同优化。同时寻求时下强大的人工智能的帮助，强化学习则成了学者经常借鉴的一种方法。强化学习体现的是学习智能体和所处环境的不断交互，利用反馈信息逐步获取决策能力，并通过不断的学习对决策能力进行改进。园区能源互联网中能源的协同优化一直是能源高效管理的关键，相关研究一直受到众多专家学者的追捧。HuB等人提出了一种园区能源互联网的经济调度优化模型，有效提高园区内能源利用效率[31]。仇知等人面向综合能源系统，提出双层优化配置模型，从而达到完善综合能源系统中的能源供给配置的效果[32]。郭尊等人面向园区能源互联网环境，针对成本过高问题，构建最小成本支出模型[33]。赵曰浩等人以多个园区为出发点，考虑配电网双层分布式调度[34]。

第二章相关背景知识介绍

2.1园区能源互联网

能源为国家经济增长与全球社会发展做出了重要贡献，然而，传统能源使用过程中产生的各种污染物所引发的环境问题愈发严重，在一定程度上制约了社会经济的健康发展。与此同时，互联网技术发展迅速，先进的互联网通信技术、控制与交互技术等都被广泛应用于能源系统中。多目标进化算法、博弈论以及强化学习等高新技术的快速发展也为解决能源相关问题提供了很好的解决思路。能源、信息二者的深度融合催生出了跨学科、跨领域的能源互联网。能源互联网的产生使得转变能源消费结构、改善能源质量以及提高能源利用效率成为可能。园区能源互联网EI是以社会经济和科技为背景，是科学技术与社会经济持续向前发展的产物，它的产生为逐渐恶劣的生态环境提供了很好的解决思路。EI的提出已有一段时间，但目前全球学者或组织对其并没有一个官方统一定义，在此引用文献[8]中给出的关于EI的解释：能源互联网可理解为综合运用先进电力电子技术、信息技术和智能化的管理技术，将大量由分布式能量采集装置、分布式能量储存装置和各种类型负载构成的新型电力网络、石油网络以及天然气网络等能源节点互联起来，以实现能量双向流动的能量对等交换与共享网络。

2.2多目标进化算法

本章主要为论文接下来需要用到的知识做一个铺垫。首先阐述文章所涉及领域的相关研究进展，从能源流动侧和信息互联侧两个角度给出园区能源互联网的架构，简单描述了两侧每一层所涉及的研究内容。接着阐述第三章涉及的基于分解的多目标进化算法相关内容，包括常见的基于MOEA/D的三种解决办法，重点描述了文章涉及的PBI。接着阐述第四章涉及的博弈论的相关知识，包括博弈的分类和相关概念的阐述，而后阐述了第四章涉及的强化学习的知识，包括强化学习的发展、概念以及强化学习中一些关键内容。最后以一个有限状态的离散马尔可夫过程为例，给出Q-Learning与博弈相结合的分析过程。信息互联侧的底层是包括温度传感器和风速传感器等在内的各种信号传感监测设备，负责各种信号的监测和传输。中层是包括边缘计算和分布式计算在内的各种分析计算单元，负责分布式能源网络中各种能耗和出力情况的计算与分析。上层是包括云计算和大数据计算等在内的顶层控制与分析中心，负责全局范围内的计算与优化。

第三章基于多维模型的单园区能源协同优化研究............15

3.1面向单园区能源协同优化的多维模型..................15

3.2基于改进多目标进化算法的单园区能源协同优化.........................21

3.3实验与分析........25

3.4本章小结............32

第四章基于多智能体博弈的多园区能源协同优化研究....33

4.1面向多园区能源协同优化的多智能体博弈模型..33

4.2基于强化学习算法的多园区能源协同优化..........40

第五章总结与展望..........52

第四章基于多智能体博弈的多园区能源协同优化研究

4.1面向多园区能源协同优化的多智能体博弈模型

在上一章，本论文针对单园区能源互联网中的混合能源协同优化问题提出了一个多目标协同优化模型，同时针对该模型提出了一个改进的的多目标优化算法。以上研究方式也是目前在园区能源协同优化中常采用的一种有效的集中式控制策略。该集中式控制策略将园区内设备的经济与环境等指标进行数学建模，结合多目标优化算法进行优化计算，进而获得Pareto意义下的非劣解，最终为决策方提供可选方案。上述做法会带来两方面问题：1）人为选择将不可避免受到决策者主观偏见影响；2）当园区由单个变为多个时，内部的能源、交互数据、利益方以及控制方式变得更加复杂，传统的集中式管理显得有些力不从心。与上一章多目标优化策略相比，基于非合作博弈的能源协同优化策略可有效提高能源管控的灵活程度。利用多智能体的自主性、灵活性、交互性等特点，考虑多个利益智能体之间的能源的协同优化，并利用Q-Learning算法分析多利益智能间的利益关系，最后形成顾及多方利益的解决方案。

4.2基于纳什强化学习算法的多园区能源协同优化

PG、RIES、EUs三者都是独立的利益智能体。PG通过推出合适的分时计价策略，而后与RIES和EUs交互，以获取自我利益的较大化。RIES通过优化向PG进能的策略，管理区域内的各种产能和储能设备，合理安排出力，制定合适的电力价格并与EUs交互，实现自己收益最大化。EUs则根据PG颁布的电力价格以及所属区域中的RIES所制定的电力价格，合理安排用能，在合适时机安排EVs放能，力求在满足需求的前提下实现总成本的较小化。因此，PG与RIES在制定价格时，除了要顾及自己的收益，还需考虑EUs的反作用，三者之间存在利益博弈。本章以多园区能源互联网（Multi-ParkEnergyInternet，MPEI）为研究对象，结合MPEI内存在的不同利益追求，对它们进行多智能体划分，并建立多智能体博弈的能源协同优化模型。接着提出基于非合作博弈和Q-Learning算法的多园网协同优化方法，并证明纳什均衡的存在。最后，通过实验分析验证所提模型和方法的有效性与合理性。

第五章总结与展望
面临传统化石能源储备量的不断缩减、环境问题日益严重等多重问题，使得像风能、光能等可再生且清洁的可再生能源在世界范围内获得了广泛地研究。然而，这些可再生能源有先天的问题存在，包括出力不可控、出力间歇等问题，如果强行将它们并入传统电网，势必造成严重的问题。能源互联网作为能源有效的管控方式之一，在世界范围内引起了广泛关的注。但能源互联网广而大，难以精细化的研究，因而本文针对性的研究园区能源互联网。园区能源互联网是能源互联网落地的一个好的介入点，涵盖多种能源，同时涉及成本、环境等众多因素，而且发展势头良好，市场前景较好。但本文的研究工作还有一些值得拓展的地方，具体而言，可以从以下几点切入：（1）充分考虑园区中产能、储能单元。本论文考虑了园区中的典型产能、储能单元，然而随着园区能源互联网的研究与发展，产能、储能单元种类增多，相应的电力流动架构也需进一步研究。（2）充分挖掘园区中的其它可调节负载。本论文假设园区中除了电动汽车以外的负载都是恒定的，并没对园区中其它可调节负载进行详尽挖掘。充分挖掘园区中的可调节负载，可最大化利用产能单元、储能单元、可调节负载，促进实现“削峰填谷”。
参考文献（略）