1.3.2 电力系统负荷频率优化控制研究现状
1.不同风电渗透率下系统频率调节效果分析的研究现状
未来以新能源为主的新型电力系统将面临高比例新能源的并网，特别是大规模的风电。由于新能源机组采用电力电子变流器接口，原动机输入功率与电网侧输出电磁功率近乎解耦，不再具备传统机组的惯量响应特性[82]。传统上，基于双馈式感应发电机的风电机组是不提供系统频率支持功能的[83]，即风电机组的输出受风速的影响，不受系统频率的影响。但是随着风力发电在电力系统中的普及，电网运营商要求风电机组提供一定的频率支持，当负载扰动存在时，频率敏感型的风电机组将提供短期额外的有功功率支撑，称为虚拟惯量支撑[84-85]。因此，当更多的风电机组集成到电力系统中时，电力系统在面临负荷扰动时的短期频率支持就更强，这将有助于频率调节。然而，高风电渗透率通常会导致常规机组退役，特别是火电机组。这种现象将会导致系统转动惯量变差，进一步导致频率调节性能变差。此外，由于风速的自然随机性，随着风电机组的进一步集成，风速的扰动将导致更高比例的不确定负荷扰动。
风力发电的引入将会降低频率调节的效果，报道最多的原因是电力系统转动惯量随着风电渗透率的增高而降低[86-87]。系统转动惯性代表抵抗频率偏差的能力，是系统内单个发电机惯性常数加权和的比值[88]。在LFC（负荷频率控制）模型的基础上，Aziz等人考虑多种可再生能源发电形式，在LFC的框架内建立了广义AGC仿真模型，在模型中设定系统转动惯量随着风电渗透率的增加而成比例减小。仿真结果表明，随着风电渗透率的增加，在应对负荷扰动的过程中，系统频率偏差将会增加[89]。Bevrani等人建立了一个包含可再生能源发电的LFC模型，仿真结果显示在风电渗透率较高的情况下，风电功率的波动也会导致频率性能变差[90]。针对这种风电功率波动情况，Jia等人提出了一种考虑波动特性的增强型WECS（风能转换系统）最优转矩控制方法，实现了风电机组功率的平滑输出[91]。当前也有众多的工作借助了LFC的框架来确定系统内风电允许的最大渗透率，在这些研究中，系统转动惯量通常随着风电渗透率的上升而减少。对于频率允许波动，通常使用的标准是频率变化率[92]或最大频率偏差[93]。当选择的标准是在不超过1%频率偏差的情况下，则可以容忍火电厂总容量的5%的功率波动，测试模型的最大风电渗透率将在50%～80%之间[94]。除此之外，最大可再生能源渗透率需要同时考虑网络拓扑、电气和机械限制[95]。Nguyen等人在LFC模型的基础上建立了频率调节的仿真模型，并在不同的风电渗透率下进行了仿真分析，在保持控制器参数不变的前提下，随着风电接入量的增加，系统转动惯量和等效调节常数也随之变化。仿真结果表明，随着风电渗透率的增加，频率变化率呈上升趋势[96]。在另一项工作中，Aziz等人在LFC建模时考虑了频率敏感型风电机组以及水力和天然气发电厂[97]。系统主要参数，如惯性和下垂调节系数，随风电渗透率的变化而变化。该研究采用积分控制器，在不同的穿透力下，控制器增益在试验过程中均保持不变。在上述研究中，LFC模型被广泛用来直接研究有功功率和频率响应效果之间的关系。在高风电渗透率的情况下，系统转动惯量普遍减少，表明传统机组，一般是火电机组，正在进行起动或者停机来适应电力需求。并且，以上研究中的火电机组模型和控制器参数在不同风电渗透率下均保持不变。
如前所述，随着火电灵活性改造的进行，火电机组在高风电渗透率的系统中能够拥有深度和启停两种不同运行方式，称作深度调峰和启停调峰运行方式，显然这两种运行方式具有不同的调节特性，对电力系统频率调节的影响是不一样的。但是以上文献显示，火电机组在以往不同风电渗透率的场景下只考虑了单一的运行模式（单一动态模型和单一调差系数），忽略了火电机组运行方式不同带给系统频率调节的影响，这与实际情况不符。
2.多机协调研究现状
参与深度调峰之后，火电机组在不同工况下的负荷响应特性有所不同，并且同一台机组在不同工况下的运行经济性也会出现很大的差别，这将会进一步加剧系统内多机协调的复杂度。
传统电力系统的频率主要由传统机组（如水、火电机组等）来进行调节，传统机组具有出力稳定、备转容量高等优点[98]。随着储能技术的提升，储能电池在频率支撑方面具有重要的作用，可以稳定吸收、提供电能，并且响应速度极快，逐渐成为电网调频不可或缺的重要手段[99]。另外，可以响应电网AGC的风电控制技术[100]以及需求侧响应技术[101]等逐渐变得成熟，电网运营商进行系统调峰调频将具有更多的选择。对于负荷频率控制而言，多种调频资源的并入就引发了多机协调问题。对于集中式控制系统，往往采用功率分配因子完成调节量的分配，在传统电力市场中，功率因子往往取相等值。但是随着电力市场改革，电网运营商逐渐将调节过程中的经济性引入多机协调问题中。Kumar等人针对基于价格影响的负荷频率控制框架，提出了双边交易、集中式交易和混合式交易3种方式[102-103]。Donde等人考虑了不同机组在不同电网中调峰调频程度不一样的问题，首次在负荷频率控制的框架下引入了机组参与矩阵和合同参与因子[104]。Debbarma和Parmar等人针对这种考虑机组参与矩阵的系统，分别利用分数阶PID控制器[105]和基于实用主义观点的最优反馈控制器[106]完成了多机组系统优化控制研究。Zhao等人通过分析AGC容量需求和服务的随机性特征，建立了确定AGC容量需求的决策模型，并提出了调度求解算法[107]。Boonchuay提出了电力市场中各种临界负荷的概念，当处于临界负荷时应该及时调整所有机组的功率因子以维护基于节点边际价格市场的稳定[108]。更新的功率因子数值由系统运营商决定。Li等人提出了一种分布式算法，将经济调度并入AGC中，提升了AGC调节过程中的经济性[109]。陈春宇等人将多机协调问题转化成考虑区域控制误差指标和调节费用指标的多目标优化问题，对功率因子进行了优化，实现了多机协调控制求解方案[110-111]。Zhang等人基于分布式经济预测控制算法，将经济性因素导入LFC多机协调的优化控制中，对合同参与因子和控制器进行了优化，提升了三区域系统的运行效率[112]。除此之外，借用包含合同参与因子的LFC模型来研究控制器设计的相关文献就更多了，但是这些文献并不包含功率因子的优化，例如Tan等人提出了基于内模控制的PID控制器[113]，Parmar等人提出了最优输出反馈控制器[114]，Selvaraju等人提出了基于自适应网络的模糊推理系统[115]等。
集中式多机系统协调控制的本质在于设计有功分配方案[110]，以往研究通常结合经济调度，基于优化算法[116]或者模型预测控制算法[112，117]等，系统运营商在LFC响应前确定功率因子，将功率因子固定为一个定常数，让每台机组在进行AGC响应过程中提供固定比例的电量，然后功率因子在下一阶段进行持续更新[118]。其实这类似于经济调度的一种准稳态算法，限制了每台机组进一步优化的空间，本节将关注在更小时间尺度上的多机互补协调问题，研究功率因子在动态响应过程中的优化方法，借用动态轨迹规划的思想设计功率因子的优化策略，充分调用不同机组的经济性优势和频率响应速度优势，互补协调不同机组的输出响应用以提升负荷频率控制中整体过程的经济性和安全性。
3.基于智能算法的负荷频率控制研究现状
LFC的控制优化研究一直以来是研究的重点，应用的控制理论包括：经典控制理论、鲁棒控制、自适应控制、模型预测控制、滑模控制、网络化控制、非线性控制、自抗扰控制，以及以上控制算法的相互结合[119-120]。随着火电灵活性、风电、光伏、储能、电动汽车等接入设备类型的增加，电网负荷频率控制的复杂度也因此明显地增加。未来以新能源为主的新型电力系统将以高度信息化和智能化为基础，研究人工智能技术在能源电力系统中的应用将有助于能源转型等国家战略，并且人工智能技术在面对复杂被控对象时具有明显的优势，人工智能技术在LFC中的应用主要分为两部分。
一方面，利用智能优化算法完成控制器参数整定。各种仿生类优化算法及其算子、结构等的改进型算法层出不穷，由于LFC被控对象是一个复杂的非线性过程，优化算法适合此类对象的控制器参数整定。优化算法在负荷频率控制器参数整定过程中的应用一直以来是重点，常见的成功应用案例包括遗传算法（Genetic Algorithm，GA）[122]、粒子群（Particle Swarm Optimization，PSO）算法[123]、差分进化（Differential Evolution，DE）[124]、灰狼算法（Grey Wolf Algorithm，GWA）[125-126]、萤火虫算法（Firefly Algorithm，FA）[127]、人工蜂群（Artificial Bee Colony，ABC）算法[128]、人工协同搜索（Artificial Cooperative Search，ACS）[129]等。不同优化目标的设定能够使频率表现出想要的控制效果，基于智能优化算法的控制器参数整定有效地降低了参数整定难度，提升了含复杂对象的负荷频率控制效果。除此之外，为应对日趋复杂的电力系统被控对象，强化学习（Reinforcement Learning，RL）逐渐被应用到LFC的控制中，其中以Q学习算法为代表[130-131]。Q学习以离散时间马尔可夫决策过程（Discrete Time Markov Decision process，DTMDP）为数学基础，通过与环境的不断试错探索来获得知识，使智能体得到的期望折扣报酬总和最大，是一种基于值函数迭代的在线学习和动态最优技术。在自适应控制器参数整定方面，强化学习逐渐得到了相关研究。Lee等人利用深度强化学习对PID控制器参数进行了整定，整定过程不需要任何关于船舶或动态定位系统（Dynamic Positioning System，DPS）动力学的先验知识，达到了良好的自适应调节效果[123]。Chen等人将强化学习与自抗扰控制（Active Disturbance Rejection Controller，ADRC）结合起来，实现了LFC和船舶的自适应自抗扰控制。使用强化学习完成对控制器参数的整定区别于优化算法，能够明显地提升自适应控制水平，提升控制效果[124]。
另一方面，利用智能控制器完成对LFC的优化控制。模糊控制和神经网络控制能够很好地处理非线性以及不确定系统，而且通常会与其他控制算法进行结合[135-136]，共同完成被控对象的优化控制。Liu等人将线性二次型调节器（Linear Quadratic Regulator，LQR）与模糊控制结合，经仿真验证，提出的新型控制器能够在需求侧响应回路上取得比任何传统控制器更优异的控制效果[137]。Hosseini等人提出了一种基于自整定模糊PD控制器的负载频率控制方法，在动态频率变化下自动调节增益，完成系统的优化控制[138]。Obaid等人采用了分层神经网络完成了LFC控制器设计，取得了比传统控制器更优的扰动抑制效果[139]。由于发电机组普遍具有出力约束、爬坡约束等非线性特点，相比于经典控制器，强化学习适合于具有复杂非线性和不确定性的可持续能源和电力系统，因此被用来代替原有控制器，不需要模型对象，完成对象的优化控制[140-141]。Alhelou等人利用Q学习设计了LFC的控制器[142]。Thresher利用采用强化学习的多层感知神经网络控制器完成了三不相等区域的优化，并研究了控制器的鲁棒性[143]。Mauricio等人利用AGC环境中的已有信息，获得先验知识，加快了Q学习的收敛速度，提高了学习效率[144]。Revel等人提出了在线强化学习算法，并将其利用到风电的负荷频率控制中[145]。Gomes等人利用多智能体强化学习算法进行了电网分布式二次优化控制研究[146]。强化学习在能源电力系统中的应用研究大多还处于实验室研究阶段，尚未在可持续能源和电力系统中得到实际应用[147]，因此具有进一步研究的空间与需求。
本节在前人研究的基础上[148-149]，提出一种基于强化学习的模糊自适应线性自抗扰控制器（Fuzzy-Adaptive-LADRC，FALADRC）。在IEEE 9节点模型上搭建了模糊自抗扰控制器，利用Q学习方法完成离线参数整定，在线完成被控对象的自适应调节。