[0001] 本实用新型涉及光伏发电技术领域，尤其涉及一种光伏发电设备的辅助运维装置。

[0002] 现如今，出现了新型市场交易，该新型市场交易主要呈现出两个特征：一个是支持新能源接入电网；另一个是支持小型新能源用户入网参与电力买卖交易。

[0003] 新型市场交易的出现也产生了新的问题：目前已经投入使用的老式光伏发电设备中，有一些老式光伏发电设备无法参与新型市场交易。如果人力参与进来协助老式光伏发电设备进行新型市场交易，耗费大量人力的同时并不能达到实时操作交易系统协助老式光伏发电设备进行交易的效果；并且，这些老式光伏发电设备并不具备自行维护、运行监测的功能，如果采用更换新的智能逆变器的方法，仍旧需要投入大量的人力物力财力。

[0004] 综上所述，需要一个能够辅助老式光伏发电设备参与新型市场交易，并且能够帮助其完成维护、运行、监测等功能的装置。实用新型内容

[0005] 有鉴于此，本申请提供一种光伏发电设备的辅助运维装置，以用于解决已经投入使用的老式光伏发电设备无法参与新型交易市场的问题。

[0006] 为解决上述问题，现提出的光伏发电设备的辅助运维装置如下：

[0007] 连接光伏发电设备的进线箱；

[0008] 电力数据处理模块、模数转换模块、通信模块及用于为上述各模块供电的电源模块；电力数据处理模块通过模数转换模块与进线箱连接，获取光伏发电设备的电力数据并进行分析处理，将分析处理结果通过通信模块发往外部设备；分析处理结果包括电力交易数据和光伏发电设备的状态监测数据；

[0009] 第一运行状态信号灯，连接电力数据处理模块，用于显示电力数据处理模块的运行状态。

[0010] 可选的，电力数据处理模块包括处理器、寄存器、只读存储器ROM、随机存取存储器RAM和时钟模块，处理器分别与寄存器、ROM、RAM、时钟模块连接。

[0011] 可选的，还包括显示模块，与电力数据处理模块连接。

[0012] 可选的，还包括第二运行状态信号灯，连接通信模块，用于显示通信模块的运行状态。

[0013] 可选的，处理器为具有强化学习功能的CPU。

[0014] 可选的，通信模块为SIM通讯单元。

[0015] 可选的，进线箱包括磁感线圈、电压计和电流计。

[0016] 本申请公开一种光伏发电设备的辅助运维装置，包括连接光伏发电设备的进线箱，电力数据处理模块、模数转换模块、通信模块及用于为上述各模块供电的电源模块。电力数据处理模块通过模数转换模块与进线箱连接，获取光伏发电设备的电力数据并进行分析处理，将分析处理结果通过通信模块发往外部设备，分析处理结果包括电力交易数据和光伏发电设备的状态监测数据。本装置主要通过电力数据处理模块辅助老式光伏发电设备参与新型市场交易，并且能够帮助老式光伏发电设备完成维护、运行、监测。

[0024] 下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。在本实用新型的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实用新型中的具体含义。同一实施例中的多个技术方案，以及不同实施例的多个技术方案之间，可进行排列组合形成新的不存在矛盾或冲突的技术方案，均在本实用新型要求保护的范围内。

[0025] 目前，出现了新型的市场交易，同时也出现了新的问题：老式光伏发电设备参与不了新型的电力交易。

[0026] 为了解决上述问题，本申请提供了一种光伏发电设备的辅助运维装置。

[0027] 本装置主要应用于大型的光伏发电站中，是一个安装在老式光伏发电设备的电能表前的独立装置，这里主要是指本装置在电路连接中，位于老式光伏发电设备的之前。本装置能够适应老式光伏发电设备的改造，同时增加老式光伏发电设备配置的独立性。

[0028] 参见图1，本申请实施例提供的一种光伏发电设备的辅助运维装置的模块连接示意图。

[0029] 如图所示，光伏发电设备的辅助运维装置主要包括进线箱、电力数据处理模块、模数转换模块、通信模块及为上述各模块供电的电源模块。

[0030] 进线箱主要用于连接老式光伏发电设备，包括磁感线圈、电压计和电流计。老式光伏发电设备的电力数据对应的一次回路的电压较高，如果直接输入到本装置中，会破坏本装置的电子元件。故本装置设置了进线箱，将老式光伏发电设备的电力数据对应的一次回路的电压电流先输入到进线箱中，进线箱可以将老式光伏发电设备的电力数据对应的一次回路的电压电流转化为二次回路的弱电压，这样能够很好的保护本装置的电子元件，延长本装置的使用寿命。

[0031] 电力数据处理模块通过模数转换模块与进线箱连接。

[0032] 模数转换模块主要是将进线箱中的弱电压转变为电子信号，然后将电子信号传输到电力数据处理模块。

[0033] 通信模块为实现本装置和外部设备的通信的部件。

[0034] 电源模块为上述各模块供电。

[0035] 具体的，参见图2，本申请实施例提供的光伏发电设备的辅助运维装置的模块连接示例图，如图所示：

[0036] 需要说明的是，图2中光伏发电设备的辅助运维装置的各模块固定于PCB板上，通过PCB板进行连接。电力数据处理模块主要包括处理器、寄存器、只读存储器ROM、随机存取存储器RAM和时钟模块，处理器分别与寄存器、ROM、RAM、时钟模块连接。

[0037] 处理器的主要作用是对从模数转换模块处获取的电力数据对应的电子信号进行分析处理，得到电力交易数据和本装置连接的老式光伏发电设备的状态监测数据。

[0038] 寄存器可以用来存放长期历史数据，其存储的长期历史数据可以通过读卡器导出，进行数据备份，利于数据安全，便于本装置的后续检修。

[0039] ROM(Read Only Memory，只读存储器)是只读存储器，以非破坏性读出的方式进行工作，只能读出无法写入数据信息。信息一旦写入后就固定下来，即使切断电源，信息也不回丢失，又称为固定存储器，可以保障在本装置突然断电或者出故障的情况下，存储的数据不会丢失，保护本装置中的数据。

[0040] RAM(Random Access Memory，随机存取存储器)是内存，与处理器进行数据交换，主要的功能是在处理器计算电力数据时进行数据存储。

[0041] 时钟模块，主要用来规定本装置的时间，保证本装置和老式光伏发电设备的时间一致，以及本装置时间的精准，还可以在本装置出现故障的时候精准的记录出现故障的时间，便于进行故障排查。

[0042] 具体的，参见图3，本申请实施例提供的另一种光伏发电设备的辅助运维装置的模块连接示例图，如图所示：

[0043] 处理器可以为CPU(Central Processing Unit，中央处理器)，老式光伏发电设备的电力交易数据的计算，以及状态的监测都是在此完成。CPU是本装置的计算核心，且具有强化学习能力的交易计算功能。该功能通过强化学习算法实现。具体的，本装置可以与各个省份的电力交易中心进行数据对接，获取实时电力价格，再通过强化学习算法，计算得到一条基于时间的最优交易曲线，反馈给客户。

[0044] 具体的，强化学习的核心思想是个体通过与环境的交互，从反馈信号，也可以理解为上文提到的实时电力价格中进行学习。

[0045] 强化学习技术在AI(Artificial Intelligence，人工智能)高速发展的今天，在社会生产生活中有非常多的应用。各种算法也层出不穷。强化学习是一系列复杂的算法的统称，通过奖励机制，引导目标函数的达到奖励最大化下的值。使得目标函数可以达到低误差预测。

[0046] 强化学习主要包含4个元素：智能体(agent)、环境状态(state)、行动(action)、反馈(reward),详细定义如下。

[0047] agent：智能体是执行任务的客体，只能通过与环境互动来提升策略。

[0048] state：在每个时间节点，agent所处的环境的表示即为环境状态。

[0049] action：在每个环境状态中，agent可以采取的动作即为行动。

[0050] reward：每到一个环境状态，agent就有可能会收到一个反馈。

[0051] 强化学习算法的目标就是获得最多的累计奖励(正反馈)。

[0052] 强化学习算法的目标就是获得最多的累计奖励(正反馈)。

[0053] 强化学习是通过奖励或惩罚来学习怎样选择能产生最大积累奖励的行动的算法。为了找到最好的行动，非常有效的方式是，找到那些奖励最大的状态，即在我们目前的环境(environment)中首先找到最有价值的状态states。最有价值的state可能不只一个，一旦我们确定了哪些状态是最有价值的，我们就可以给这些状态赋奖励值。可以将这些状态和奖励当成一个离散函数，最佳的行动是让函数的值越高越好(即最大奖励)的行动。这些状态中，有些中间状态并不一定有奖励(奖励为0)，但是这些状态是通向奖励状态的必经之路。

[0054] 需要注意的一点是值函数求解的是一个累积奖励，通过找到最大的值的状态，然后朝着这个方向前进，但是想想是有问题的：在一场的跑步比赛当中距离终点很远的一个状态只要朝着目标前进，它的奖励值也会很大。但是这显然不合理。因此，在值函数当中会引入一个折扣因子discount Factor，由此使得离他较远的状态给他的奖励贡献是比较小的。因此，折扣因子是一个0～1之间的数，并且随着距离的增加，这个值会越来越小。当折扣因子为0.5时，仅经过3次状态改变，奖励值就会变成初始值的八分之一，所以agent更倾向于搜索临近状态的奖励值。(其实不加discount factor，累积的时候除以总的迭代次数也是一样的道理)值迭代算法：首先把所有状态的奖励值初始化为0或者一个特定的值，然后搜索所有状态的可能的下一个状态(从当前状态转移到其中的任意一个状态都有一个概率)，并估计下一个状态agent可能得到的奖励，通过这种方式学习每一个状态特有的局部奖励值。如果agent在下一个状态得到奖励，那么这个奖励就会累计到当前的状态中。重复这个过程，直到每个状态的局部奖励值不再改变(其实这就是迭代的终止条件)，意味着每次变换状态采取的可能转向以及每个状态的奖励值都被考虑在内。

[0055] 深度学习算法相当于agent在环境中通过策略函数通过action，改变自身的state，处于环境中的其他位置。此时环境反馈给agent一个reward。通过深度学习算法，通过优化策略函数或者价值函数，使reward获大。

[0056] 从另一个角度分析，强化学习由智能体和环境两部分构成。智能体(agent)是能够采取一系列行动并期望获得高收益或者达到某一目标的个体。影响智能体行动学习的其他因素统一称为环境(environment)。

[0057] 智能体和环境每时每刻都会进行交互。智能体首先观察环境的状态(state)，采取某种动作(action)，该动作对环境造成影响。随后，环境下一刻的状态和该动作产生的奖励(reward)将反馈给智能体。智能体的目标是尽可能多地从环境中获取奖励。

[0058] 智能体(agent)是指由谁做动作或决策，谁就是智能体。环境是智能体与之交互的对象，可以抽象理解为交互过程中的规则或机理。状态(state)可以理解为对当前时刻环境的概括。状态空间是指所有可能存在的状态(也就是当前处于的电力价格)的集合，常以花体字母S表示。动作(action)是智能体基于当前状态所做出的决策。

[0059] 奖励(reward)奖励是指智能体执行动作后，环境反馈智能体的一个数值。回报是从当前时刻开始到结束的所有奖励的总和，也称为累计奖励(cumulative  future reward)。策略(policy)是指根据当前状态，从动作空间中采取某种动作的决策规则。价值是指给定策略下状态回报的期望

[0060] 在进行强化学习时，需定义一个agent，以及agent运动的环境，并且定义agent在环境中所进行的动作集(action)和选择动作的方式，也就是策略。这些动作最后带来的奖励不同，获得的奖励也不同。由于获得奖励的期望的不同，动作价值也不同。状态‑动作价值函数(state‑action value function)，也叫Q函数，即在某一状态s采取某一动作a，假设一直使用同一个策略。得到的累计激励的期望值。

[0061] 在本申请中，通过搭建深度Q网络，对Q函数搭建一个线性的神经网络，从而进行不断的学习，以逼近更好的策略，使本装置所应用的策略为最佳的交易策略。

[0062] 电力交易一共有三个动作，购买电力，卖出电力和不卖。本装置中减轻考虑购买电力的可能。单考虑卖出电力和持有两个动作。采用深度Q网络对电力交易行为进行强化学习建立的模型如下：

[0063] 环境为电力价格构成的时间序列，即环境就是电力价格按时间排列组成的一个列表，状态就是现在的电力价格在列表的哪个位置。当收益高于平均值时获得奖励，收益低于平均值时扣除奖励。同时，建立可以将存储历史数据的经验回放池，在每次训练时，都再向经验回放池中添加一部分历史数据，这样可以提升学习效率减轻CPU的计算负担。更高效率的通过学习获得最优的交易策略。

[0064] 对应的，参见图4，本申请实施例提供的获取最优策略的流程示例图，如图所示：

[0065] 设起始状态为某电力价格s，选择动作a(可以为持有或卖出)，结合动作集合中的策略一起执行，本流程图中的动作集合为交易策略，执行后观测环境E(当前电力价格)，得到奖励r，奖励r是依据动作执行后的环境是否能够赚到钱计算得到的。此时状态变为s′，将s、a、r、s′放入经验池D中，最后通过Q网络训练，找到使得期望收益最大的(s，a)。其中，Q网络下应用的Q函数是指在起始状态为s，执行动作a后，执行策略后获得的期望总回报。上图中的策略一般是随机选取穷举的策略。

[0066] 寄存器可以为HD寄存器。通信模块可以通过SIM进行通讯，在从CPU处获取了电力交易数据以及状态监测数据后，发往外部设备，外部设备可以是主站，例如，在商用中可以和电信运营商通信，电信运营商收到本装置的数据信息后，可以将数据信息以APP或者短信的形式发送到客户端。时钟模块可以为时钟，用来规定本装置的时间，保证本装置时间的准确，是用于确保装置内部数据的时间线准确的必要组件。在本装置中出现错误的时候记录出现故障的时间，用于故障追溯，上面提到的通信模块中的SIM卡可以使得本装置联网，从而进行本装置的时钟校准。在本装置中，电源模块可以为电池，主要用于为本装置供电。模数转换器可以为A/D转换器。

[0067] 本装置的除上文所述的具有基于强化学习算法的交易计算功能，还具有运行监测和故障监测的功能。

[0068] 在实际应用中，光伏设备受天气影响比较大，光线、云层都有可能影响设备的发电情况。所以，不能仅依靠电压电流的变化去判断光伏发电设备是否存在故障。因此，本装置采用收集光伏发电设备在不同辐射值下的历史发电数据，通过光伏照射仪或者测量当地天气的辐照，或者采集本装置所连接的老式光伏发电设备的平均电压、电流，与历史数据进行比对，这里的历史数据为存储在存储器中的历史数据，主要为本装置连接的老式光伏发电设备之前在相同温度光照下的发电量的均值，将其与现在采集的数据进行比对。本装置可以预先设置上报值，例如，如果出现发电量大幅下跌的情况，比如，同样辐照度下历史数据中的发电量与现在的数据偏差大于10％，就说明光伏发电设备出现了故障，本装置会向客户报警。

[0069] 具体的，本装置依据在CPU内设置的采样算法进行采样，报警和监测也同样是内置于CPU内的报警算法和监测算法自动进行。本装置可以通过A/D转换器收集光伏曲线，可以设置为每1分钟进行一次采样，把采样数据放到存储器中。这样可以将收集到的连续数据变成离散数据，方便计算机进行处理，报警算法可以在光伏发电设备的数据达到某个预先设置的警戒线时发出报文。监测可以是每1分钟进行一次采样，每15分钟进行一次数据比对，将采样得到的数据和警戒的数据线进行比较，如果采样得到的数据不超过报警线就不报警，如果超过之后本装置就会自动执行报警程序。报警可以是通过SIM卡向客户发送短信或者进行APP推送等形式。

[0070] 示例性，参见图5，本申请实施例提供的光伏发电设备的辅助运维装置的运行监测示例图。

[0071] 如图所示，本装置每1分钟获取连接的老式光伏法发电设备的电压和电流，并将获取到的电压和电流的监测数据存储到存储器中，然后每15分钟计算一次老式光伏法发电设备平均的电压和电流，将计算结果也放入存储数据中，和在同样环境(温度、光照等)下的采集到的光伏发电设备的发电量进行比对，也就是和历史数据集中记录的相同环境下的历史数据进行比对，当老式光伏发电设备的监测数据和历史监测数据偏差过大时，本装置会向客户报警。

[0072] 参见图6，本申请提供的光伏发电设备的辅助运维装置的外观示例图，如图所示：

[0073] 本装置的外观主要包括外壳、液晶屏幕、信号灯、SIM卡槽、通信模块、输入和输出连接器。

[0074] 本装置的液晶屏幕为显示模块，与电力数据处理模块相连，用于显示示数，具体可以为CPU的计算结果。液晶屏幕下方还有运行状态信号灯，用于显示电力数据处理模块的运行状态，状态信号灯主要有两个状态：一个是运行状态，另一个是告警状态。运行状态信号灯的运行规则可以有两种，第一种：在本装置的电力数据处理模块正常运行时，表征运行的灯亮，故障灯不亮，颜色可以是绿色或者是其他的颜色，当电力数据处理模块出现故障的时候，运行灯熄灭，故障灯亮起，与运行灯亮着的颜色一致。第二种：在本装置的电力数据处理模块正常运行时，表征运行的灯亮，故障灯不亮，颜色可以是绿色或者是其他的颜色，当电力数据处理模块出现故障的时候，运行灯熄灭，故障灯亮起，与运行灯亮着的颜色不一致，为红色或其他与运行灯颜色不一致的颜色。

[0075] 本装置的通信模块同样包括运行状态信号灯，其运行状态信号灯的运行规则与电力数据处理模块的规则一致，在此不再赘述。

[0076] 综合所述，本申请公开的光伏发电设备的辅助运维装置，包括连接光伏发电设备的进线箱，电力数据处理模块、模数转换模块、通信模块及用于为上述各模块供电的电源模块。电力数据处理模块通过模数转换模块与进线箱连接，获取光伏发电设备的电力数据并进行分析处理，将分析处理结果通过通信模块发往外部设备，分析处理结果包括电力交易数据和光伏发电设备的状态监测数据。本装置主要通过数据处理模块辅助老式光伏发电设备参与新型市场交易，并且能够帮助老式光伏发电设备完成维护、运行、监测。

[0077] 电力交易辅助功能主要体现在可以收集光伏发电数据、天气数据、电价波动数据等信息，通过强化学习算法，最大化发电收益。

[0078] 运行监测和故障监测主要体现在对光伏发电设备存在的运行故障进行监测。在不同的设备上有不同的体现，一般在电力设备中，故障监测可以通过监测功率、电压、电流等电力特征和通过传感器对光、热、声等物理属性进行监测。本装置可以通过功率、电压、电流等电力特征对光伏发电设备进行监测。在保持平稳运行时，光伏发电设备的发电功率一般是较为稳定的，不会出现突然的波动，如果波动超过限制值，本装置就会进行报警。本装置还可以通过光伏发电设备的历史数据进行判断，主要通过判断输出功率是否有明显不正常的下滑进行判断。

[0079] 总之，本装置可辅助帮助老式光伏发电设备实现电力交易和日常的运行维护。降低了客户更换光伏发电设备的成本，为已安装的光伏发电设备提供便捷的改装服务。对光伏发电设备运行的监测也可以帮助客户维护光伏发电设备，提升现有的光伏发电设备的使用寿命和使用价值。降低客户未来可能参与电力交易时需更新换代的成本。

[0080] 最后应说明的是：以上所述仅为本实用新型的优选实施例而已，并不用于限制本实用新型，尽管参照前述实施例对本实用新型进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。