技术领域
[0001] 本申请属于一种控制方法，具体涉及一种地热能冷‑热‑电耦合系统控制方法及相关装置。
相关背景技术
[0002] 随着能源需求的不断上升，不可再生的传统化石能源的使用量持续攀升，呈现不断枯竭的趋势。同时，传统化石能源在使用过程中会引发严重的环境污染，包括恶劣气候变化等一系列问题。因此，如何降低传统化石能源在能源消费结构中的占比，已成为亟待解决的问题。寻找传统化石能源的替代能源，充分利用风能、水能等清洁能源和可再生能源，已成为发展的必然趋势。为解决这一难题，智能电网、微网技术等新技术相继提出，但这些技术主要考虑了电力能源这一单一的能源形式及其相关信息技术。为进一步提高能源利用率，实现电能和其他能源之间的互相转化，协调供给，能源互联网技术应运而生。在能源互联网中，能源调度成为当前的研究热点，涵盖了多种形式能源发电系统的优化和调度，需要同时考虑发电系统的物理运行极限与供给冷、热等不同需求。此外，不同形式能源之间的转换装置也成为了研发的主要难题。与传统电网相比，能源互联网的开放互联特性使得它们在运行和调度方面存在较大差异。
[0003] 面对丰富的地热能储量，重力热管取热技术是针对干热岩地热能开发的一种新型取热途径。重力热管传热热阻小、无需泵驱，产出气态工质可直驱汽轮机发电，提升热效率，并且能够有效避免管道和设备腐蚀结垢。但是，重力热管产出的蒸汽，热力参数较低，相对不稳定，随运行时间变化剧烈且无规律，会严重影响利用重力热管开采地热的地热能冷‑热‑电耦合系统高效稳定运行。
具体实施方式
[0050] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0051] 因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0052] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0053] 在本申请实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0054] 此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0055] 在本申请实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
[0056] 在能源互联网中，多种能源形式密切耦合，通过电锅炉、循环泵、冰箱、空调等设备实现电能到热能的转化，还可以通过燃气轮机实现电能到气能和热能的能源耦合。因此，研究能源互联网的协调优化运行在多能源转换技术下成为研究的热点。在能源互联网的背景下，电热联合系统是多能源转换技术的重要应用，因此研究电热联合系统的优化运行具有重要意义。
[0057] 基于上述情况，本申请提出一种地热能冷‑热‑电耦合系统控制方法及相关装置，下面结合实施例和附图对本申请进行详细描述。
[0058] 作为本申请地热能冷‑热‑电耦合系统控制方法的第一种实施例，可以包括：
[0059] 将地热能冷‑热‑电耦合系统的热利用率输入具有优化控制策略的控制仿真模型，得到用于控制地热能冷‑热‑电耦合系统中阀门的动作，对地热能冷‑热‑电耦合系统进行控制。
[0060] 需要说明的是，地热能冷‑热‑电耦合系统的热利用率是一个关键的性能指标，衡量系统从地热能源中提取并有效利用热能的比例。热利用率的高低直接影响到系统的能源效率和经济效益。因此，本申请基于热利用率控制阀门的动作。
[0061] 如图1所示，为本申请地热能冷‑热‑电耦合系统控制方法中，具有优化控制策略的控制仿真模型的一种获取方法，可以包括：
[0062] S1，建立包含有机朗肯循环地热能冷‑热‑电耦合系统的控制仿真模型。
[0063] 需要说明的是，有机朗肯循环地热能冷‑热‑电耦合系统是一种高效利用地热能的先进能源系统，结合了地热能与有机朗肯循环技术，能够实现能源的梯级利用和多元化供给。在地热能冷‑热‑电耦合系统中，地热能被用作主要能源。首先，通过地热井抽取的地热水进入热交换器，将其中的热能传递给有机朗肯循环的工作流体。这种工作流体通常具有较低的沸点和较高的蒸汽压力，使得系统可以在较低的温度下有效运行。有机朗肯循环通常包括蒸发器、透平(或称为涡轮)、冷凝器和循环泵等主要部件。在蒸发器中，工作流体吸收地热能后蒸发成蒸汽，随后进入透平做功，驱动发电机产生电能。做完功后的蒸汽在冷凝器中冷凝成液体，再通过循环泵被送回蒸发器，完成一个循环。通过建立控制仿真模型，实现后续的高效控制。
[0064] S2，根据控制仿真模型确定需要优化的目标函数和控制约束条件。
[0065] 需要说明的是，目标函数是优化过程中希望最小化或最大化的量，通常与系统的经济性、效率或环境性能相关。在地热能冷‑热‑电耦合系统中，可能的目标函数包括运行成本最小化、能源效率最大化、排放最小化、综合效益最大化等，可以根据实际优化目标进行调整。控制约束条件是在优化过程中必须满足的限制条件，以确保系统的安全、稳定运行和满足用户需求。在地热能冷‑热‑电耦合系统中，可能的控制约束条件包括设备容量限制、能源供需平衡、安全性约束、运行时间约束等，可以根据实际要求进行调整。
[0066] S3，根据目标函数和控制约束条件，采用强化深度学习离线学习控制仿真模型，优化训练控制仿真模型的优化控制策略，得到具有优化控制策略的控制仿真模型。
[0067] 实际应用中，确定了目标函数和控制约束条件后，就可以利用优化算法来求解最优的控制策略，使得系统在满足约束条件的前提下，达到目标函数的最优值。
[0068] 在本申请的其他一些实施例中，控制仿真模型可以包括含有机朗肯循环地热能冷‑热‑电耦合系统，有机朗肯循环地热能冷‑热‑电耦合系统包括区域一和区域二，区域一包括有机朗肯循环地热能冷‑热‑电耦合系统，区域二包括强化学习控制器。
[0069] 如图2所示，区域一中的有机朗肯循环地热能冷‑热‑电耦合系统主要由两部分组成，包括发电系统和制冷供热系统，还设置有工质泵和回流泵。有发电系统和制冷供热系统并联，热源为重力热管开采地热系统。其中，发电系统为透平发电系统，包括蒸发器、气液分离器、透平、发电机、冷凝器和冷却塔。制冷供热系统为吸附式热泵系统，包括吸附床、两个冷凝器、蒸发器、二通换向阀和四通换向阀。
[0070] 优化训练控制仿真模型的优化控制策略可以包括以下步骤：
[0071] 1)进行地热系统的环境建模，主要考虑地热出口温度、湿度和能源需求等因素；
[0072] 2)设计准确的状态表示系统，主要包括当前温度、湿度以及能源利用状况等关键参数；
[0073] 3)定义合适的动作空间，主要包括地热阀门的操作，以及应对突发情况的控制策略；
[0074] 4)设计切实可行的奖励函数，可以综合考虑能源利用效率、系统稳定性、成本效益等多个因素；
[0075] 5)对强化深度学习对应的模型进行训练，利用环境模型和奖励函数，使其逐步优化地热阀门的控制策略；
[0076] 6)将训练有素的强化学习网络部署到实际系统中进行实时监控和调整，以确保系统持续高效运行。
[0077] 如图3所示，采用强化深度学习离线学习控制仿真模型的方法，可以包括以下步骤：
[0078] 1)初始化网络参数，并清空回放缓冲区；
[0079] 2)初始化地热能冷‑热‑电耦合系统的当前状态；
[0080] 3)在Actor网络中根据当前状态S获取动作A；
[0081] 4)执行动作并将其应用于仿真环境中，获取下一状态S和相应奖励R，并判断当前是否为终止状态；
[0082] 5)判断样本是否充足，若是，则执行步骤6)，否则，返回步骤1)；
[0083] 6)从经验回放单元里取m个样本，结合Critic目标网络计算当前目标Q值；
[0084] 7)使用均方差损失函数，通过神经网络的梯度反向传播来更新Crtic估值网络当前参数；
[0085] 8)更新Actor网络参数；
[0086] 9)使用Actor和Cnitic估值网络的参数来更新Actor和Cnitic目标网络参数。
[0087] 10)判断是否为终止状态，若是，则结束，否则，返回步骤3)。
[0088] 实际进行控制时，将地热能冷‑热‑电耦合系统的热利用率作为输入，使得强化深度学习输出动作，以地热能冷‑热‑电耦合系统中的阀门作为控制对象，给予控制，而使控制后产生的热利用效率重新作为神经网络的输入，进行迭代，从而达到对整个地热系统的最优化控制。
[0089] 其中，地热能控制的连续且高维空间下的自动控制算法可以采用DDPG(Deep Deterministic Policy Gradient)和SAC(Soft Actor‑Critic)两种深度强化学习算法进行自动控制。
[0090] DDPG算法结合了确定性策略和深度Q网络，能够有效地处理连续动作空间的问题。通过Actor‑Critic架构学习确定性策略，以优化连续动作空间中的控制任务。同时，SAC算法采用了最大熵强化学习的思想，能够有效地应对不确定环境下的控制问题，提高系统的鲁棒性和稳定性。采用DDPG的核心网络结构包括Actor网络和Critic网络。Actor网络负责生成连续动作，以对系统状态做出响应。Critic网络评估Actor输出的动作对系统性能的影响，通过学习值函数进行优化。Actor网络根据环境状态st、噪声Ν和策略函数μθ(·)生成动作at，以下公式描述了动作生成过程：
[0091] at＝μθ(st)+N
[0092] 动作at与环境进行交互，得到新的状态st+1和奖励rt。使用策略梯度函数更新Actor在线网络参数θ：
[0093]
[0094] 其中，M为采样数量，Qω(·)为在线Q值函数，
[0095] Critic网络采用深度Q网络(DQN)来评估策略动作。包含Critic在线网络和Critic目标网络。Critic在线网络根据在线Q值函数Qω(·)生成在线Q值Qω(st,at)，其中，ω表示Critic在线网络参数，Critic目标网络根据目标Q值函数Qω′(·)计算目标Q值yi：
[0096]
[0097] 其中，ω′为Critic目标网络参数，γ是奖励折扣因子。
[0098] DDPG算法使用损失函数更新在线网络参数ω：
[0099]
[0100] Critic目标网络参数通过软更新方法周期性地复制和更新：
[0101] ω′＝τω+(1‑τ)ω′
[0102] 其中，τ为更新速率。
[0103] SAC算法的网络结构主要由Actor网络和Critic网络组成。Actor网络的目标是学习一个最优的策略，即在给定状态下选择最佳的动作。这个网络是一个参数化的策略(Policy)网络，其参数用θ表示。Actor网络以环境状态s为输入，经过神经网络的处理，输出一个动作a，表示在当前状态下应该采取的行为。在SAC中，Actor网络的独特之处在于引入了熵参数，以促使系统更有可能探索到更多可能的最优路径。Actor网络采用参数θλ参数化*的策略网络，学习最优策略π (a|s)。该网络以状态s作为输入，负责生成动作a并与环境进行交互。为了评价动作的优劣，θc参数化的Critic网络构建了状态s到动作a的Q值函数映射。Critic网络包括当前Q网络和目标Q网络两套结构，通过延时更新来控制它们之间参数的差异。目标Q网络负责基于经验池计算目标Q值，并定期从当前Q网络复制最新的网络参数。
[0104]
[0105] 其中，α代表熵系数，在权衡策略的熵值和奖励期望值之间发挥关键作用；H(π(·|st))表示策略的熵值。为了确保未来奖励在有限时间序列内的考虑，引入了折扣因子γ，取值范围为0到1之间，γ的具体数值代表了对未来时间的考虑程度，即时间序列的长短。这一方程的设计在SAC算法中扮演着重要的角色，通过调节熵系数和折扣因子，使得算法更加灵活地处理策略的探索性和对未来奖励的考虑，从而提高了对复杂环境下最优策略的学习效果。
[0106] 本申请提出了一种旨在优化地热发电系统的运行效率的地热能冷‑热‑电耦合系统控制方法，建立了地热能冷‑热‑电耦合系统的详细数学模型。采用强化深度学习离线学习地热能冷‑热‑电耦合系统控制仿真模型，优化训练控制策略。
[0107] 可以有效提升地热能冷‑热‑电耦合系统运行效率，提升地热能利用系统供暖及电力供应的效果，节约发电及供暖成本。提供了一种全新的优化控制手段，可确保地热能冷‑热‑电耦合系统的高效稳定运行，为发电系统控制领域提供全新思路。
[0108] 如图4所示，基于上述地热能冷‑热‑电耦合系统控制方法，本申请还提出了一种地热能冷‑热‑电耦合系统控制系统，可以包括：
[0109] 优化模块，用于将地热能冷‑热‑电耦合系统的热利用率输入具有优化控制策略的控制仿真模型，得到用于控制地热能冷‑热‑电耦合系统中阀门的动作，对地热能冷‑热‑电耦合系统进行控制；
[0110] 获取模块，用于获取具有优化控制策略的控制仿真模型，包括构建模块、参数模块和优化模块；
[0111] 构建模块，用于建立包含有机朗肯循环地热能冷‑热‑电耦合系统的控制仿真模型；
[0112] 参数模块，用于根据控制仿真模型确定需要优化的目标函数和控制约束条件；
[0113] 优化模块，用于根据目标函数和控制约束条件，采用强化深度学习离线学习控制仿真模型，优化训练控制仿真模型的优化控制策略，得到具有优化控制策略的控制仿真模型。
[0114] 需要说明的是，在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，各模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。该作为分离部件说明的模块，可以是或者也可以不是物理上分开的，作为模块显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0115] 另外，在本发明各个实施例中的各模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0116] 本申请实施例提供的一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如上任一实施例所描述地热能冷‑热‑电耦合系统控制方法的步骤。
[0117] 本申请实施例提供的另一种电子设备中还可以包括：与处理器连接的输入端口，用于传输外界采集设备采集的多模态数据至处理器；以及与处理器连接的显示单元，用于显示处理器的处理结果至外界；与处理器连接的通信模块，用于实现电子设备与外界的通信。显示单元可以为显示面板、激光扫描使显示器等；通信模块所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
[0118] 本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所描述地热能冷‑热‑电耦合系统控制方法的步骤。
[0119] 本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD‑ROM、或技术领域内所公知的任意其它形式的存储介质。
[0120] 本申请实施例提供的地热能冷‑热‑电耦合系统控制系统、电子设备及计算机可读存储介质中相关部分的说明，请参见本申请实施例提供的地热能冷‑热‑电耦合系统控制方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
[0121] 以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
