[0001] 本申请涉及渔业养殖技术领域，具体涉及一种鱼类病症自动检测方法、系统、设备及存储介质。

[0002] 在传统的鱼类养殖过程中，实现鱼类测量和病症检查往往是通过人工捕捞和生物医药检测，或者是根据生产实践经验判别，这三种方式都存在着无法实现实时监控、干扰鱼类正常活动的劣势。而且如果要对多个养殖水箱中的多条鱼进行测量和病症分析，则要耗费大量的时间与人工成本。

[0003] 鉴于此，本申请提出了一种鱼类病症自动检测方法、系统、设备及存储介质，能够实现年产量的提升以及养殖成本的降低。

[0058] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

[0059] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0060] 图1示出了本申请的鱼类病症自动检测方法的流程图，请参考图1，该方法包括以下步骤：

[0061] S1、通过摄像头采集智能网箱内的鱼群图像，将所述鱼群图像输入至YOLOv5深度学习模型中获得鱼群养殖数据，所述鱼群养殖数据包括鱼类体态、体格、体色、纹理、鱼鳃数据。在本实施例中，在采集鱼群图像之前应当将控制系统初始化。优选的，摄像头为B‑CAMS‑OMV摄像头。

[0062] S2、通过传感器采集环境数据，所述环境数据包括：温度、湿度、压力、水温、PH值和溶氧量。

[0063] S3、通过ADP‑L610‑Arduino通讯模组将所述鱼群养殖数据和所述环境数据传输至腾讯云平台上，用户端的微信小程序和APP可随时随地查看，并且对设备进行远程控制。

[0064] 在本实施例中，控制系统(MCU)通过发送AT指令控制L610模块与腾讯云平台连接，并订阅相关主题以接收和发布消息。

[0065] S4、响应于确定所述环境数据超出预设阈值范围，则触发报警装置实时预警，并且向用户端发送预警通知。

[0066] S5、响应于确定所述鱼群养殖数据与理想数据库中的理想数据存在偏差，则通过图像文本描述技术生成鱼类电子病历，并通过文字关键词自动检索鱼类病症对应的专家处方，将所述鱼类电子病历和专家处方发送至用户端。

[0067] 本申请提供的鱼类病症自动检测方法能够实现手动控制和自动控制两种控制方式。以下对手动控制方式进行详细介绍：

[0068] 用户在手机端点击开启手动喂食按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，实现转动喂食舵机，从而打开投饵口。同理，用户点击关闭手动喂食按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，实现转动喂食舵机，从而关闭投饵口。

[0069] 用户在手机端点击开启手动增氧按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，从而实现打开增氧泵。用户点击关闭手动增氧按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，从而实现关闭增氧泵。

[0070] 用户在手机端点击开启手动捕捞按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，从而实现转动两个捕捞舵机，使智能网箱升降装置上升。用户点击关闭手动捕捞按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，从而实现转动两个捕捞舵机，使智能网箱升降装置下降。

[0071] 用户在手机端点击开启低功耗模式按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，控制系统进入低功耗模式(睡眠模式)，定时(例如：1分钟)唤醒一次处理器，采集并上报一次传感器数据和鱼类体态、体格、体色、纹理、鱼鳃数据到腾讯云平台，完成后自动进入低功耗模式(睡眠模式)，以节省能量消耗。通过事件和中断(例如：串口中断)，可以唤醒处理器，执行喂食、捕捞、增氧等特定的任务，并在完成后再次进入低功耗模式。用户点击关闭低功耗模式按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，控制系统退出低功耗模式(睡眠模式)。

[0072] 以下对鱼类病症自动检测方法实现自动控制方式进行详细介绍：

[0073] 用户在手机端点击开启AI托管模式按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，从而根据设定的参数实现定时喂食，智能增氧和智能预警。当PH、水温等环境传感器采集到的数据超出正常值时，则触发放蜂鸣器预警，并发送预警通知到小程序和APP提醒用户，直至实时采集到的传感器数据恢复正常值后停止蜂鸣器预警。
当溶氧量小于正常值时，会触发蜂鸣器预警和增氧泵自动供氧，并发送预警通知到小程序和APP提醒用户，直至实时采集的溶氧量恢复正常值后停止蜂鸣器预警和增氧泵供氧。用户点击关闭AI托管模式按钮，向腾讯云发送控制指令，通过MQTT协议将指令传递给STM32控制系统，控制系统退出AI托管。

[0074] 具体的，在AI托管模式中，STM32H747I‑DISCO控制系统判断溶氧量数据是否超出设定的正常取值范围。若采集到的溶氧量数据超出设定的正常取值范围，则通过微信小程序和APP给用户手机发送预警通知，并打开增氧泵。若采集到的溶氧量数据恢复设定的正常取值范围，则关闭增压氧泵。

[0075] STM32H747I‑DISCO控制系统接收传感器数据和来自摄像头采集到的鱼类数量与平均体态大小，并判断温度、湿度、压力、水温、PH值等数据是否超出设定的正常取值范围。若采集到的温度、湿度、压力、水温、PH值等数据超出设定的正常取值范围，则触发报警装置实时预警，并且通过微信小程序和APP给用户手机发送预警通知，等待人工进行处理。

[0076] 若采集到的温度、湿度、压力、水温、PH值等数据未超出设定的正常取值范围，STM32H747I‑DISCO控制系统接收传感器数据和来自摄像头采集到的鱼类数量与平均体态大小，并判断是否到达投喂时间。

[0077] 若到达投喂时间，STM32H747I‑DISCO控制系统控制投饵装置驱动系统工作，投饵装置投饵槽口打开，此时鱼饵投入到智能网箱中。投喂结束后，投饵装置投饵槽口关闭。

[0078] 若未到达投喂时间，STM32H747I‑DISCO控制系统接收传感器数据和来自摄像头采集到的鱼类体态、体格、体色、纹理、鱼鳃数据，并判断网箱内鱼类数量、平均体态大小是否大于设定值以及鱼类的健康情况。

[0079] 若采集到的鱼类平均体格的数据大于设定值，STM32H747I‑DISCO控制系统控制网箱升降系统上升，智能网箱在网箱升降装置的驱动下通过收紧绳索拉动智能网箱底部圆环上升，智能网箱收缩折叠。限制鱼的活动空间，便于养殖户捕捞成鱼，重新投入鱼苗养殖。

[0080] 若采集到的鱼类平均体格的数据小于设定值，STM32H747I‑DISCO控制系统接收传感器数据和来自摄像头采集到的鱼类数量与平均体态大小。

[0081] 若采集到的鱼类平均体格的数据等于零时，STM32H747I‑DISCO控制系统控制智能网箱的升降装置下降，驱动网箱升降装置放开绳索，网箱底部圆环由于重力影响，会缓慢下降，直至张开渔网。

[0082] 若采集到的鱼类体态、体格、体色、纹理、鱼鳃数据与系统理想数据库发生较大偏差时，将通过微信小程序和APP给用户手机发送预警通知，并自动生成鱼类电子病历，同时提供专家处方。其中，系统理想数据库通过采集正常鱼类生长情况的数据进行获取，系统理想数据库包括鱼类各个生长时间段的正常体态、体格、体色、纹理、鱼鳃数据；鱼类电子病历通过图像文本描述技术生成，并通过文字关键词自动检索专家处方。

[0083] 具体的，鱼群图像输入至YOLOv5深度学习模型中获得鱼群养殖数据，通过基于YOLOv5深度学习模型所构建的检测网络对鱼群图像进行鱼群养殖数据的检测，得到检测结果。

[0084] 其中，基于YOLOv5所构建的检测网络的网络架构包括Backbone(主干网络)、Neck(特征融合部分)、Head(检测头部分)以及Output(输出部分)。

[0085] Backbone(主干网络)：主要负责提取所输入的鱼类图像的特征，检测网络使用CSPDarknet53或CSPDarknetLite作为主干网络，可以通过提取不同层级的特征来捕捉不同尺度的物体信息。输入为鱼类图像，输出通常是一系列特征图。

[0086] Neck(特征融合部分)：用于融合不同层级的特征图，以提供更丰富的上下文信息。检测网络使用PANet(Path Aggregation Network)作为特征融合部分，通过上采样和下采样操作将不同层级的特征图进行融合。输入为来自主干网络的特征图，输出是经过特征融合后的融合特征图，尺寸通常与输入相同。

[0087] Head(检测头部分)：负责生成目标鱼类的预测框(bounding box)和类别概率。检测网络的检测头部分由一系列的卷积层和全连接层组成，用于对融合特征图进行卷积和降维操作。输入为经过特征融合后的融合特征图，输出为鱼类目标的预测框和类别概率。

[0088] Output(输出部分)：负责处理Head部分的输出结果，如进行非极大值抑制(NMS)操作，筛选出最终的结果。输入是来自Head部分的输出结果，输出是经过NMS操作后的最终检测结果，通常是一系列的预测框，每个预测框包含鱼类目标的类别、坐标和置信度等信息。

[0089] 利用SAM网络对检测结果中的鱼类进行语义分割，得到鱼类在图像中的分割结果。

[0090] 其中，SAM网络架构主要包含三个部分：一个强大的图像编码器(计算图像嵌入)，一个提示编码器(计算提示嵌入)，一个轻量级掩码解码器(实时预测掩码)。

[0091] 图像编码器：通过使用预训练的ViT(Vision Transformer)，最小限度地适用于处理高分辨率输入图像。

[0092] 提示编码器：考虑两组prompt：稀疏(点、框、文本)和密集(掩码)。通过位置编码来表示点和框，并将对每个提示类型的学习嵌入和自由形式的文本与预训练中的现成文本编码相加。密集的提示(即掩码)使用卷积进行嵌入，并通过图像嵌入进行元素求和。

[0093] 掩码解码器：掩码解码器有效地将图像嵌入、提示嵌入和输出标志映射到掩码。解码输出结果即为分割结果。

[0094] 根据分割结果确定鱼类的体态、体格、体色、纹理、鱼鳃，得到鱼群养殖数据。

[0095] 优选的，根据分割结果确定鱼类的体态、体格、体色、纹理、鱼鳃，得到鱼群养殖数据，包括：

[0096] 通过坐标转换将分割结果的像素空间坐标转换至实际空间坐标，以计算鱼类的体态和体格，通过颜色识别判断鱼类的体色，通过纹理识别判断鱼类的纹理，通过鱼鳃对比判断鱼类的鱼鳃。将鱼类对应的体态、体格、体色、纹理、鱼鳃作为鱼群养殖数据。

[0097] 图2示出了本申请的鱼类病症诊断流程示意图，如图2所示，响应于确定鱼群养殖数据与理想数据库中的理想数据存在偏差，则通过图像文本描述技术生成鱼类电子病历，并通过文字关键词自动检索鱼类病症对应的专家处方，具体包括：

[0098] 1)通过将YOLOv5深度学习模型中获得的鱼群养殖数据与理想数据库中的理想数据进行对比分析。其中理想数据库中的理想数据来源于前期鱼类正常成长过程中人为采集的标准鱼类体态、体格、体色、纹理、鱼鳃数据。

[0099] 将获得的鱼类体态、体格、体色、纹理、鱼鳃数据与理想数据库中的理想数据进行对比分析，并将对比结果统一转化为数字信息。具体的：

[0100] 通过皮尔森相关系数计算获得的鱼类体态、体格、体色、纹理、鱼鳃数据与理想数据库中同种鱼类体态、体格、体色、纹理、鱼鳃数据之间的相似值，相似值在0～1之间，可设置相似值阈值为0.5，则当相似值大于等于0.5时，鱼类符合健康要求，当相似值小于0.5时，鱼类出现疾病。

[0101] 2)当鱼类出现疾病时，则通过图像文本描述技术生成鱼类电子病历。的图像文本描述技术通过图像特征匹配的方式实现。具体的：

[0102] 先将大量的鱼类病症图像和对应的鱼类病症文本描述存入鱼类病症分析数据库。之后将具有鱼类疾病的图像作为输入图像，并提取输入图像的颜色特征、纹理特征与形状特征。最后将提取的特征与鱼类病症分析数据库中的图像特征进行对比，找出相似的图像，并将对应的鱼类病症文本描述作为鱼类电子病历。其中，鱼类病症分析数据库中的鱼类病症图像和对应的鱼类病症文本描述来源于鱼类疾病百科、鱼类疾病相关书籍和鱼类疾病图片。

[0103] 3)通过文字关键词自动检索鱼类病症对应的专家处方。具体的：

[0104] 通过鱼类电子病历中的文字关键词(例如：体色发黑、眼球突出、尾部有溃疡并有出血点等)对专家知识库和诊断案例数据库进行检索，找出相关性强的专家处方。其中专家知识库来源于渔业养殖专家，诊断案例数据库来源于线上鱼类疾病诊断医院。

[0105] 图3示出了本申请的鱼类病症自动检测装置的结构图，如图3所示，该鱼类病症自动检测装置包括：悬浮层1、网箱2、摄像头3、传感器模块4、网箱升降装置5、投饵装置6和控制系统。

[0106] 该鱼类病症自动检测装置装有悬浮层1，其具有承受该装置重量的浮力，即便水位升高，整个鱼类病症自动检测装置也会随之升高水平面保持在悬浮层1上下轻微波动。

[0107] 网箱2的顶部和底部有着两圆环21来撑开以及固定网箱2，网箱2在网箱升降装置5的驱动下可通过绳索拉动网箱2底部圆环21实现上升功能，进而折叠网箱2；当放开绳索时，网箱底部圆环21由于重力影响，会缓慢下降，直至张开渔网。摄像头3安装在箱体2的顶面的中间上，用于实时监控网箱2内鱼群的生长情况。传感器模块4检测网箱2内的温度、湿度、压力、溶氧量、PH值等各项指标参数。网箱2的箱体上方装有投饵装置6，只需驱动投饵装置6即可控制投饵口的开关，实现鱼饵或鱼苗的投放。

[0108] 图4示出了本申请的鱼类病症自动检测系统的结构图，结合参考图3和图4，该控制系统为STM32H747I‑DISCO主控板。采用STM32H747I‑DISCO主控板通过USART串口与ADP‑L610‑Arduino4G通讯模组连接，通过发送AT指令控制ADP‑L610‑Arduino通讯模组与腾讯云平台连接，并订阅相关主题以接收消息，或者发布消息到指定主题。

[0109] B‑CAMS‑OMV摄像头通过DCMI接口与STM32H747I‑DISCO连接，实时将网箱内鱼群图像捕获到帧缓冲区、预处理帧缓冲区和运行神经网络推理的框架。神经网络推理的结果图像数据通过串口发送到计算机，可以看到计算机上实时显示鱼的数量、体态大小和健康情况。PC端通过共享软件分享到平板上，便于远程查看。

[0110] 通过I2C接口采集X‑NUCLEO‑IKS01A3传感器拓展板中LSM6DO，LIS2MDL，LIS2DW12，LPS22HH，HTS221，STTS751传感器的数据如温度、湿度和压力、加速度计、陀螺仪和磁力计。通过ADC接口采集PH传感器模块的电压值，通过校准和转换公式，将电压值转换为PH值。通过单总线协议采集DS18B20防水数字温度传感器的温度数据。

[0111] 使用L298N电机驱动模块连接STM32H747I‑DISCO，通过改变两个GPIO引脚的输出状态来控制电机的启停，从而控制增氧泵的开关。将投饵装置6连接STM32H747I‑DISCO，通过PWM引脚来控制投饵装置6，当到达投喂时间，STM32H747I‑DISCO控制系统控制投饵装置投饵。

[0112] 将网箱升降装置5连接STM32H747I‑DISCO，通过PWM引脚来控制网箱升降装置5升降，当采集到的鱼类数量和体态大小的数据大于设定值，STM32H747I‑DISCO控制系统控制网箱升降装置5上升。养殖户将所有成鱼从网箱中捕捞出来，捕捞完成后，采集到的鱼类数量和体格的数据等于零，STM32H747I‑DISCO控制系统控制网箱升降装置5下降。

[0113] 作为对上述方法的实现，本申请提供了鱼类病症自动检测系统的一个实施例，该系统具体可以应用于各种电子设备中。该系统包括以下模块：

[0114] 摄像头，配置于采集智能网箱内的鱼群图像；

[0115] 传感器，配置于采集环境数据，所述环境数据包括：温度、湿度、压力、水温、PH值和溶氧量；

[0116] 通讯模块，配置于通过通讯模组将所述鱼群养殖数据和所述环境数据传输至腾讯云平台上供用户端实时查看；

[0117] 数据库，数据库用于将采集的不同时期、不同品种的鱼群养殖数据、环境数据、病变样本的存储,用户可以对文件中的数据运行新增、截取、更新、删除操作；

[0118] 检测模块，配置于将所述鱼群图像输入至YOLOv5深度学习模型中获得鱼群养殖数据，所述鱼群养殖数据包括鱼类体态、体格、体色、纹理、鱼鳃数据；

[0119] 目标鱼体的特征包括体表颜色度、体表有无寄生物和各鳍鳍棘、鳍条是否完整无损，以及鱼身呈现特殊病变或病症特征(斑点、长白毛、烂块、红肿、水肿、充血、瘀血、出血、颜色异常、粘膜增加、粘膜零落)。

[0120] 第一判断模块，配置于响应于确定所述环境数据超出预设阈值范围，则触发报警装置实时预警，并且向用户端发送预警通知；

[0121] 第二判断模块，配置于响应于确定所述鱼群养殖数据与理想数据库中的理想数据存在偏差，则通过图像文本描述技术生成鱼类电子病历，并通过文字关键词自动检索鱼类病症对应的专家处方，将所述鱼类电子病历和专家处方发送至用户端。

[0122] 本发明采用YOLOv5深度学习算法，通过深度学习框架训练得到一个最优模型，然后通过CubeAI将模型转化为c代码，再将c代码替换FP_AI_VISION1功能包的network和network_data文件，并更新标签与显示，裁剪图像，从而实现部署在STM32H747I‑DISCO开发板上。采用ov5640摄像头将图像捕获到帧缓冲区、预处理帧缓冲区和运行神经网络推理的框架，再将神经网络推理的结果图像数据通过串口发送到计算机，PC端通过共享软件分享到平板上，计算机和平板上实时显示鱼的数量和体态大小。并将鱼的数量和体态大小通过L610上报到云端，便于用户远程监控。

[0123] 本发明主要基于计算机视觉技术对鱼类活动状况进行在线监测与数据采集，并通过人工远程控制和AI智能决策方式，对鱼群进行智能投食、智能增氧、智能捕捞、智能预警、智能诊断等自动化控制的应用研究。首先，对鱼类进行检测定位，进而进行鱼类跟踪识别，对鱼类活动状况进行数据分析，最后将数据传输到云平台上。可通过电脑、手机等设备远程控制各类传感器的实时监测，进而根据情况进行相应的投食、增氧、捕捞；也可在远程控制系统上点击AI托管，系统会根据机器视觉所处理的鱼类活动数据分析的状况和温度传感器、湿度传感器、压力传感器、DS18B20防水数字温度传感器、PH值传感器、溶解氧传感器等各类传感器实时监测数据的状况进行智能投食、智能增氧、智能捕捞、智能预警、智能诊断。当采集到数据超出设定的正常取值范围，将会触发报警装置实时预警，并且通过微信小程序和APP给用户手机发送预警通知，进而实现年产量的提升以及养殖成本的降低。

[0124] 本发明采用STM32H747I‑DISCO通过USRT8串口与ADP‑L610‑Arduino 4G通讯模组连接，通过发送AT指令控制ADP‑L610‑Arduino通讯模组与腾讯云平台连接，并订阅相关主题以接收消息，或者发布消息到指定主题。实时上报各个传感器的数据到腾讯云平台。后台服务器实时接收腾讯云平台上的数据并进行处理，最后发送到腾讯连连小程序和APP端展示，并且腾讯云平台，腾讯连连小程序和APP端能够实时远程控制装置投食、增氧、捕捞等等。实现了能够通过人工远程控制进行手动投食、手动增氧、手动捕捞。

[0125] 本发明设计低功耗模式(睡眠模式)，定时1分钟唤醒一次处理器，采集并上报一次传感器数据到云平台，完成后自动进入低功耗模式(睡眠模式)，以节省能量消耗。通过事件和中断(如串口中断)，可以唤醒处理器，执行喂食、捕捞、增氧、自动模式等特定的任务，并在完成后再次进入低功耗模式。进而实现减少能源消耗，降低用电成本，延长电池寿命。

[0126] 下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

[0127] 如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有计算机系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

[0128] 以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

[0129] 特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

[0130] 需要说明的是，本申请所述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

[0131] 可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

[0132] 附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0133] 以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。