技术领域
[0001] 本申请涉及图像分割技术领域，尤其是涉及一种矿工安全帽检测系统。
相关背景技术
[0002] 矿井人员安全帽分割是用一种方法将人员图像中的安全帽像素区域独立分离出来。安全帽分割是实现煤矿人员智能视频监控的关键技术之一，是计算机视觉在矿井智能监控应用中的一项核心内容，可促进基于计算机视觉的矿井人员调度管理、目标检测识别及其位置信息预测等相关技术的应用，可提高对人员作业区域的管控效率。
[0003] 已有多种图像分割方法，如基于图像灰度特征的阈值法、像素点区域生长法、边缘检测法、基于图论的图割法、深度学习神经网络法等几大类，但这些方法存在以下问题：阈值法的关键在于灰度阈值的合理选取，适合处理目标与背景灰度界别分明的图像；区域生长法对缺乏先验信息的图像分割效果较为理想，但易导致过度分割；边缘检测法容易出现边界轮廓线间断，图像区域结构性差；图割法需要用户在图像分割过程中指定目标与背景，不适合自动分割；深度神经网络分割法需要输入的数据量大，处理时间较长且对计算机硬件要求较高。在矿井视频图像处理方面的结果难以满足实际需求。实用新型内容
[0004] 为了解决上述背景技术中的问题，本申请提供一种矿工安全帽检测系统，包括：
[0005] 通过数据传输线路相互连接的矿工图像采集装置、数据存储装置、特征提取装置、分类器与类别修正装置以及安全帽检测结果显示装置；
[0006] 所述矿工图像采集装置，通过有线链路或无线链路与所述数据存储装置连接，所述数据存储装置的输出端与所述特征提取装置的输入端连接，所述特征提取装置的输出端与所述分类器与类别修正装置的输入端连接，所述分类与类别修正装置的输出端与所述安全帽检测结果显示装置的输入端连接。
[0007] 优选的，所述矿工图像采集装置包括摄像机和补光灯；所述摄像机为工业防爆型彩色摄像机或多光谱摄像机，所述补光灯包括多组漫反射LED灯组。
[0008] 优选的，所述摄像机外部设置有防爆外壳，所述防爆外壳上安装有防爆膜，所述摄像机的镜头与所述防爆膜平行对齐。
[0009] 优选的，所述数据存储装置为本地服务器或云服务器。
[0010] 优选的，所述分类器与类别修正装置的输出端通过移动互联网连接有地面信息终端。
[0011] 优选的，所述安全帽检测结果显示装置连接有声光报警器、语音报警器和拼接屏显示终端。
[0012] 在本申请的实施例提供的矿工安全帽检测系统中，通过矿工图像采集装置采集矿工图像，特征提取装置将矿工图像粒化为多个超像素块并提取特征，分类器与类别修正装置将多个超像素块进行分类，并对分类后的超像素块进行类别修正，最后采用修正后的超像素块对目标图像进行分割，从而能够避免由于粉尘干扰、噪声大、光照条件差等多种恶劣条件影响而导致所采集人员视频图像存在照度不均匀、颜色信息失真、阴影分布随机、目标与背景边界难以区分等缺陷，降低了人员目标分割的难度，进而利于在人员检测识别与定位跟踪等技术上的应用。
具体实施方式
[0016] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
[0017] 煤矿井下环境特殊，受粉尘干扰、噪声大、光照条件差等多种恶劣条件影响，使得所采集人员视频图像存在照度不均匀、颜色信息失真、阴影分布随机、目标与背景边界难以区分等缺陷，这直接增加了人员目标分割难度，更不利于人员检测识别与定位跟踪等技术的应用。
[0018] 安全帽是矿井工作人员必须佩戴的重要安全防护设备，是保障人员安全作业的必要条件，安全帽的存在代表着人员的存在。安全帽分割可促进基于计算机视觉的矿井人员调度管理、目标检测识别及其位置信息预测等相关技术的应用，可提高对人员作业区域的管控效率，同时也可有效降低分割人员全身的复杂度，压缩算法对人员图像的数据处理量。
[0019] 为此，本申请提供了一种矿工安全帽检测系统。
[0020] 图1示出了本申请的实施例的矿工安全帽检测系统的方框示意图。如图1所示，矿工安全帽检测系统包括通过数据传输线路160相互连接的矿工图像采集装置110、数据存储装置120、特征提取装置130、分类器与类别修正装置140以及安全帽检测结果显示装置150。
[0021] 其中，矿工图像采集装置110，通过有线链路或无线链路与数据存储装置120连接，数据存储装置120的输出端与特征提取装置130的输入端连接，特征提取装置130的输出端与分类器与类别修正装置140的输入端连接，分类与类别修正装置140的输出端与安全帽检测结果显示装置150的输入端连接。
[0022] 在一些实施例中，矿工图像采集装置包括摄像机和补光灯，摄像机为工业防爆型彩色摄像机或多光谱摄像机，补光灯包括多组漫反射LED灯组。在一个具体的例子中，摄像机可以选用防爆摄像机，其能够支持的最大分辨率为1920×1082，内部包含CMOS图像传感器或CCD图像传感器，支持的温度范围为：‑40～60℃，湿度小于95%RH。进一步地，为了增大补光灯的发光角度，可以将多组补光灯以半球面形式均匀地设置。
[0023] 在一些实施例中，在摄像机的外部设置有防爆外壳，防爆外壳上安装有防爆膜，摄像机的镜头与防爆膜平行对齐。
[0024] 在一些实施例中，数据存储装置120为本地服务器或云服务器。
[0025] 在一些实施例中，分类器与类别修正装置140的输出端通过移动互联网连接有地面信息终端。
[0026] 在一些实施例中，安全帽检测结果显示装置150连接有声光报警器、语音报警器和拼接屏显示终端。
[0027] 在一些实施例中，支持向量机 的训练可以由图1中的分类器与类别修正装置140来实现，或者被实现为图1中的分类器与类别修正装置140。
[0028] 在训练时，可以将采集到的具有安全帽的图像分为样本图像和目标图像，样本图像用于训练支持向量机 ，训练完成的支持向量机 用于分割目标图像。
[0029] 首先，对样本图像中的安全帽区域进行像素级标注，同时记录标注图像中安全帽区域的像素点的位置 ，在一定范围内输入不同的 值对样本图像进行 超像素粒化，提取样本图像中各超像素的像素点位置 ，与 求交集运算 ，将 中属于 的全部像素点作为安全帽超像素块，将 中不属于 的所有像素点作为背景超像素块。
[0030] 然后，分别提取样本图像中安全帽超像素块和背景超像素块的颜色特征向量和纹理特征向量，并将颜色特征向量和纹理特征向量组合为特征变量，采用该特征变量对支持向量机 进行训练。
[0031] 在一些实施例中，结合井下人员图像的实际特点与安全帽分割任务的颜色特征需求，可以选取 、 、 、 四种颜色模型描述颜色特征。因此，目标图像的超像素在上述四种颜色模型下的特征分量可以形成一个12维的颜色特征向量，其可以采用下式进行计算得到：
[0032]
[0033] 式中， 为颜色特征向量， 、 、 、 、 、 、 、 、 、 、 、 为四种颜色模型上的特征分量。
[0034] 在一些实施例中，由于矿井下人员安全帽与人员皮肤、工作服、环境背景等像素区域具有明显的纹理差异，因此利用纹理特征区别安全帽与非安全帽超像素是一种有效的分割方法。超像素直方图能够反映目标图像超像素中像素灰度值在各灰度级上所出现的频率，可以选用分散度、方差、偏度和峰度四个属性来表示纹理特征向量，其可以采用如下公式进行计算：
[0035]
[0036]
[0037]
[0038]
[0039] 式中， 为分散度， 为方差， 为偏度， 为峰度， 为灰度级，为超像素块对应的灰度直方图函数。
[0040] 那么，特征变量 定义为：
[0041]
[0042] 最后，设置安全帽超像素块为正样本，标签为“1”；设置背景超像素块为负样本，标签为“0”；并采用自动超参数优化方式训练支持向量机 。
[0043] 在一些实施例中，可以采用交叉验证的方式评估 对样本图像分类的准确率，具体地，可以通过计算 的错误预测损失值 评估其分类的准确率，一定数值的 说明了该 对未知测试样本的错误预测概率。例如，为提
高 的预测准确率，采用自动超参数优化方式训练 ，经超参数优化后再次计算的错误预测损失值，此时 ，说明经超参数优化训练
的 对未知测试样本的预测误差相对较小。
[0044] 图2示出了本申请的实施例的矿井人员安全帽分割方法的流程示意图。在一些实施例中，矿井人员安全帽分割方法可以由图1中的分类器与类别修正装置140来实现，或者被实现为图1中的分类器与类别修正装置140。
[0045] 如图2所示，矿井人员安全帽分割方法和装置包括以下步骤：
[0046] 步骤210，提取由目标图像粒化形成的多个超像素块的颜色特征向量、纹理特征向量以及目标轮廓特征。
[0047] 在本实施例中，目标图像的粒化方法与上述样本图像的粒化方法相同，提取目标图像粒化形成的多个超像素块的颜色特征向量和纹理特征向量也与上述样本图像中的处理方式相同，此处均不再赘述。
[0048] 在一些实施例中，目标图像中的目标为安全帽，安全帽是严格按照国家标准GB2811‑2019进行生产，是矿井人员图像中最具显著性特征的像素区域，除具有特定的颜色种类之外还有固定的几何轮廓。
[0049] 在本实施例中，主要研究安全帽中帽壳部分的形态特征，安全帽除帽沿和帽舌以外的安全帽主体部分呈现类似半球状的形态，外部轮廓由光滑的曲线构成，安全帽的轮廓线 上必然存在零斜率点 和斜率突变点 两种点类型，位于安全帽中心位置所拍摄的正面图像中安全帽外轮廓线上存在一个或两个尖型“凸起”，因此可能存在最多两个“凸起”，且位于零斜率点 、斜率突变点 和“凸起”区间内的曲线段的斜率绝
对值 在安全帽图像所在平面内x方向或y方向上单调变化。
[0050] 因此，目标轮廓特征可以包括：安全帽的外轮廓线上存在零斜率点、斜率突变点和最多两个“凸起”，位于零斜率点、斜率突变点和“凸起”之间的曲线段的斜率的绝对值在安全帽图像所在平面内x方向或y方向上单调变化。
[0051] 步骤220，将颜色特征向量和纹理特征向量输入到预先训练的支持向量机中，以将所有超像素块分为目标超像素块和背景超像素块两种类型。
[0052] 步骤230，根据目标轮廓特征修正目标超像素块所属类别。
[0053] 在本实施例中，由于参与支持向量机 训练的样本图像在整体数据样本集中缺乏全局代表性，同时经超参数优化训练所得支持向量机 本身对测试样本的预测能力有限，因此存在少量负样本被误分为正样本，因此需要对正样本进行类别修正。
[0054] 在一些实施例中，可以采用如下步骤对目标超像素块进行类别修正：
[0055] 步骤2301，提取目标超像素块的超像素区域的边界掩膜并分析其上像素点间的直线斜率的变化特性。
[0056] 在本实施例中，提取目标超像素块的超像素区域的边界掩膜 ，并采用形态学膨胀算子处理，然后选择目标超像素块的超像素区域的边界掩膜 上任意一点为其轮廓线 的起点 ，按照顺时针方向或者逆时针方向顺次计算相邻单位像素点间的直线斜率 ，直至返回起点 ，并分析直线斜率 的变化特性。
[0057] 步骤2302，根据变化特性和目标轮廓特征修正误分类目标超像素块的类别。
[0058] 首先判断目标超像素块的超像素区域的边界掩膜 由几个超像素块生成。
[0059] 例如，目标超像素块的超像素区域的边界掩膜 由单个超像素块生成。若直线斜率 的变化特性完全符合目标轮廓特征，则将其判定为由一个超像素块分割完成的安全帽区域 ；若直线斜率 的变化特性部分符合目标轮廓特征，则将不符合目标轮廓特征的直线斜率 定义为异常直线斜率 ，由区域邻接图 检索出于异常直线斜率 区间所对应的邻居超像素块 ，提取其边界掩模并与 融合
之后生成新的超像素区域掩模 ，更新直线斜率 并分析其变化特性，符合目标轮廓特征的部分所占比例增多则保留新增超像素，否则将该超像素视为误分类样本，将其滤除，直至符合目标轮廓特征的直线斜率 的比例最大化。
[0060] 又例如，目标超像素块的超像素区域的边界掩膜 由多个超像素块生成。若直线斜率 的变化特性完全符合目标轮廓特征，则将其判定为由多个超像素块分割完成的安全帽区域 ；若直线斜率 中只有部分直线斜率 的变化特征符合目标轮廓特征且符合目标轮廓特征的直线斜率 和不合符目标轮廓特征的直线斜率同时分布于每个超像素块边界之上，则由 检索出与不合符目标轮廓特征的直线斜率区间所对应的 ，提取其边界掩模并与 融合之后生成新的超像素区域掩
模 ，更新直线斜率 并分析其变化特性，符合目标轮廓特征的直线斜率
所占比例增多则保留新增超像素，循环执行直至符合目标轮廓特征的直线斜率比例最大化；若符合目标轮廓特征的直线斜率 中只有部分符合目标轮廓特征的直线斜率 的变化特征符合目标轮廓特征且符合目标轮廓特征的直线斜率 和不符合目标轮廓特征的直线斜率 分布于不同的超像素边界上，则由 检索出与不符合目标轮廓特征的直线斜率 区间所对应的 并将其剔除，更新符合目标轮廓特征的直线斜率 并分析其变化特性，符合目标轮廓特征的直线斜率 比例增多则修正有效，循环执行直至符合目标轮廓特征的直线斜率 比例最大化；
[0061] 若直线斜率 完全为不符合目标轮廓特征，则由 检索出直线斜率对应的超像素，逐个剔除并更新直线斜率 ，直线斜率 始终不符合目标轮
廓特征则将其判定为背景区域，滤除其所包含的所有超像素块。
[0062] 步骤240，判断修正后的目标超像素块中是否存在背景像素点。
[0063] 在一些实施例中，可以采用如下步骤进行判断：
[0064] 步骤2401，提取修正后的目标超像素块的超像素区域的边界掩膜。
[0065] 步骤2402，采用 算子提取修正后的目标超像素块的轮廓边缘。
[0066] 步骤2403，计算修正后的目标超像素块的超像素区域的边界掩膜和修正后的目标超像素块的轮廓边缘的差集 。
[0067] 步骤2404，若 ，则确定修正后的目标超像素块中不存在背景像素点。
[0068] 步骤2405，若 ，则确定修正后的目标超像素块中存在背景像素点。
[0069] 需要说明的是，如果确定修正后的目标超像素块中不存在背景像素点，则执行步骤250，如果确定修正后的目标超像素块中存在背景像素点，则执行步骤260。
[0070] 步骤250，根据目标超像素块对目标图像进行分割。
[0071] 步骤260，对修正后的目标超像素块再次进行分类，得到目标像素点超像素块和背景像素点超像素块，滤除背景像素点超像素块，根据目标像素点超像素块对目标图像进行分割。
[0072] 在本实施例中，对修正后的目标超像素块再次进行分类，可以根据差集 所在的超像素块的像素点边界线将该超像素块分解为目标像素点超像素块和背景像素点超像素块。
[0073] 在本申请实施例中，基于SLIC模型将目标图像粒化为多个超像素块，并基于支持向量机SVM将多个超像素块进行分类，并对分类后的超像素块进行类别修正，最后采用修正后的超像素块对目标图像进行分割，从而能够避免由于粉尘干扰、噪声大、光照条件差等多种恶劣条件影响而导致所采集人员视频图像存在照度不均匀、颜色信息失真、阴影分布随机、目标与背景边界难以区分等缺陷，降低了人员目标分割的难度，进而利于在人员检测识别与定位跟踪等技术上的应用。
[0074] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
[0075] 以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
[0076] 图3示出了本申请的实施例的矿井人员安全帽分割装置的方框示意图。在一些实施例中，矿井人员安全帽分割装置可以由图1中的分类器与类别修正装置140来实现，或者被实现为图1中的分类器与类别修正装置140。
[0077] 如图3所示，矿井人员安全帽分割装置包括：
[0078] 提取模块310，用于提取由目标图像粒化形成的多个超像素块的颜色特征向量、纹理特征向量以及目标轮廓特征。
[0079] 分类模块320，用于将颜色特征向量和纹理特征向量输入到预先训练的支持向量机SVM中，以将多个超像素块分为目标超像素块和背景超像素块两种类型。
[0080] 修正模块330，用于根据目标轮廓特征修正误分类目标超像素块类别。
[0081] 判断模块340，用于判断修正后的目标超像素块中是否存在背景像素点。
[0082] 分割模块350，用于在修正后的目标超像素块中不存在背景像素点时，根据目标超像素块对目标图像进行分割。
[0083] 在一些实施例中，判断模块340具体用于：
[0084] 提取修正后的目标超像素块的超像素区域的边界掩膜；
[0085] 采用 算子提取修正后的目标超像素块的轮廓边缘；
[0086] 计算修正后的目标超像素块的超像素区域的边界掩膜和修正后的目标超像素块的轮廓边缘的差集 ；
[0087] 若 ，则确定修正后的目标超像素块中不存在背景像素点；
[0088] 若 ，则确定修正后的目标超像素块中存在背景像素点。
[0089] 在一些实施例中，分割模块350还用于在修正后的目标超像素块中存在背景像素点时，对修正后的目标超像素块再次进行分类，得到目标像素点超像素块和背景像素点超像素块；滤除背景像素点超像素块；根据目标像素点超像素块对目标图像进行分割。
[0090] 在一些实施例中，分割模块350还用于根据差集 所在的超像素块的像素点边界线将该超像素块分解为目标像素点超像素块和背景像素点超像素块。
[0091] 在一些实施例中，目标图像中的目标为安全帽，目标轮廓特征包括：安全帽的外轮廓线上存在零斜率点、斜率突变点和最多两个“凸起”，位于零斜率点、斜率突变点和“凸起”之间的曲线段的斜率的绝对值在安全帽图像所在平面内x方向或y方向上单调变化。
[0092] 在一些实施例中，修正模块330具体用于：
[0093] 提取目标超像素块的超像素区域的边界掩膜并分析其上像素点间的直线斜率的变化特性；
[0094] 根据变化特性和目标轮廓特征修正误分类目标超像素块类别。
[0095] 在一些实施例中，修正模块330具体还用于：
[0096] 判断变化特性是否符合目标轮廓特征；
[0097] 若是，则保留目标超像素块；
[0098] 若否，则检测目标超像素块的超像素区域的边界掩膜中所包含的超像素块的数量；
[0099] 基于数量，根据变化特性和目标轮廓特征修正目标超像素块。
[0100] 在一些实施例中，提取模块310具体用于：
[0101] 选取 、 、 、 四种颜色模型描述颜色特征，得到颜色特征向量；
[0102] 采用超像素块中像素值的灰度分布均值的多阶矩阵来描述纹理特征向量，纹理特征向量包括分散度、方差、偏度和峰度四个属性。
[0103] 在一些实施例中，颜色特征向量采用下式进行计算：
[0104]
[0105] 式中， 为颜色特征向量， 、 、 、 、 、 、 、 、 、 、 、 为四种颜色模型上的特征分量；
[0106] 纹理特征向量的分散度、方差、偏度和峰度分别采用下式进行计算：
[0107]
[0108]
[0109]
[0110]
[0111] 式中， 为分散度， 为方差， 为偏度， 为峰度， 为灰度级，为超像素块对应的灰度直方图函数。
[0112] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0113] 以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
