技术领域
[0001] 本发明涉及计算机图像识别技术领域，具体涉及一种合格口部图片获取方法、装置、设备及存储介质。
相关背景技术
[0002] 为了提高检测效率及检测准确度，很多幼儿园在幼儿的入园晨检环节均采用自动化晨检设备。自动化晨检设备包括多个检测项目，其中有一项需要获取口腔特征。但是，目前的获取口腔特征的准确度不是很高，主要因为拍摄的口部图片的内容往往不符合要求。
具体实施方式
[0047] 本发明实施例提供了一种合格口部图片获取方法，所述方法包括：
[0048] 获取包含口部的候选图片；
[0049] 根据所述候选图片，获取所述候选图片中口部的张开度；
[0050] 根据所述张开度，从所述候选图片中获取合格口部图片。
[0051] 本发明实施例的合格口部图片获取方法、装置、设备及存储介质，通过候选图片中口部的张开度，获取合格口部图片，进而准确获取对应的口腔特征。
[0052] 这里的多张口部照片，均是指同一个被检测者的口部照片，为了准确获得合格口部照片，需要拍摄多张照片进行筛选。
[0053] 为更清楚的了解本发明，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。并且，下面描述的实施例，仅仅是本发明的一部分实施例，而不是全部的实施例。本技术领域的普通技术人员，根据这些实施例，在不付出创造性劳动的前提下获得的所有其它实施例，均属于本发明保护的范围。
[0054] 实施例一
[0055] 本实施例提供了一种合格口部图片获取方法，所述方法可以由智能设备实现，即执行主体可以是智能设备，具体的是智能设备中的计算机；如图1所示，所述方法包括：
[0056] 步骤101：获取包含口部的候选图片；
[0057] 步骤102：根据所述候选图片，获取所述候选图片中口部的张开度；
[0058] 步骤103：根据所述张开度，从所述候选图片中获取合格口部图片。
[0059] 根据本发明的一个可选的实施方式，步骤101中，所述获取包含口部的候选图片，包括：
[0060] 根据预设的目标检测模型，检测通过成像部件获取的图片；
[0061] 检测到包含口部特征的图片，当前检测的图片为所述候选图片。
[0062] 这里，示例性地，预设的目标检测模型，是一种深度学习模型，例如可以是神经网络模型，目标检测模型的建立包括：输入大量标识为包含口部特征的图片，进行学习获得模型参数，然后通过该模型检测图片是否包含口部特征，检测的准确程度和模型的架构及学习的数量有关，不作详述。这里，示例性地，经过大量数据学习建立的目标检测模型，可以快速获取包含口部特征的图片，提高智能设备的工作效率。为后面的获取合格口部图片做好准备，是进行口腔合格判断与关键点检测的基础。
[0063] 这里，获取的包含口部的候选图片为预设的固定大小的照片，这样，更方便相应的模型或程序进行处理。这里的预设的固定大小，可以是适合口部的一个尺寸。
[0064] 示例性地，为了便于后续处理，照片会去除眼睛和鼻子，进而得到候选图片。由于眼睛和鼻子的特征比较明显，通过一些图像处理程序可以加以去除，不作详述。因为拍摄过程中，由于被检测者站立位置的不同，为了避免拍不全口部图像，因此智能设备的拍摄范围会比较大，可能会拍到眼睛和鼻子，因此需要通过图像处理程序剔除。
[0065] 示例性地，在获取候选图片之前，需要将拍摄得到的RGB图像转YCrCb(优化彩色视频信号)图像。具体地，普通相机拍到的图像是BGR模式，计算机读取后会转换为RGB模式，即可能需要经过多次格式转换。
[0066] 根据本发明的一个可选的实施方式，步骤102中，所述根据所述候选图片，获取所述候选图片中口部的张开度，包括：
[0067] 根据预设的关键点检测模型，获取所述候选图片中口部四周的关键点；
[0068] 根据获取的关键点，获取所述口部的张开度。
[0069] 这里，所述口部的张开度，是指口腔张开的程度，口腔张开的越大，越容易获取清晰的口腔特征。因此先获取口部的张开度，再获取合格口部图片，能够提高效率。这里的关键点，是获取口部四周的和口腔张开程度有关的部位，例如可以包括上嘴唇中间点、下嘴唇中间点、嘴角左侧点和嘴角右侧点，也可以包括上嘴唇最高点、下嘴唇最低点、嘴角左侧中间点和嘴角右侧中间点等。
[0070] 这里，示例性地，预设的关键点检测模型，是一种深度学习模型，例如可以是神经网络模型，关键点检测模型的建立包括：输入大量标识出关键点的候选图片，进行学习获得模型参数，然后通过该模型检测出候选图片的关键点，检测的准确程度和模型的架构及学习的数量有关，不作详述。
[0071] 这里，示例性地，关键点检测模型是通过卷积神经网络对大量候选图像深度学习得到，通过深度学习的关键点检测模型，能快速获取口部四周的关键点，提高智能设备工作效率。
[0072] 这里，示例性地，所述关键点检测模型的深度学习过程可以包括如下步骤：
[0073] (1)选取样本并标注。首先选取两万张包含口部的候选图片作为训练数据的正样本，并标注出每个候选图片中嘴巴的上下顶点，左右顶点的四个坐标值的标签值，并存储为文本标签文件。
[0074] (2)设计专用的关键点检测卷积神经网络模型。针对解决智能晨检设备中涉及的模型参数比较少，为模型执行更快。专门为此设计出更为精简的卷积网络，具体为：由LeNet‑5为基础，将网络模型中的5*5的卷积核替换成两个3*3的卷积核，然后将3*3的卷积核替换成深度可分离卷积核，加快了网络执行速度。
[0075] (3)利用设计的关键点检测模型训练上述步骤(1)中收集的样本数据和标注的标签值，将模型设置为输出8个值，训练损失函数为均方误差函数，最终训练完成得到模型。
[0076] (4)用完成的模型进行检测时，输入一张候选图片到模型，模型输出8个数值，数值分别按顺序表示，口腔上下顶点，口腔左右顶点的坐标，一个坐标包括两个数值，即横坐标、纵坐标。注：本文中表述的训练和学习为同样的意思，可相互替换。
[0077] 根据本发明的一个可选的实施方式，所述获取所述候选图片中口部四周的关键点，包括：
[0078] 获取口部中上嘴唇中间点、下嘴唇中间点、嘴角左侧点和嘴角右侧点；
[0079] 所述根据获取的关键点，获取所述口部的张开度，包括：
[0080] 获取所述上嘴唇中间点和所述下嘴唇中间点的第一间距；
[0081] 获取所述嘴角左侧点和所述嘴角右侧点之间的第二间距；
[0082] 将所述第一间距和所述第二间距的比值作为所述口部的张开度。
[0083] 这里，获取口部中上嘴唇中间点、下嘴唇中间点、嘴角左侧点和嘴角右侧点，是更容易通过建立深度学习模型获取的，即获取关键点检测模型的参数更容易，模型的检测准确度也更高。
[0084] 示例性地，获取上述四个关键点之后，可以将四个关键点相连，得到四边形；求得四边形的上顶点到下顶点的对角线长度值A；再求得四边形的右顶点到左顶点的对角线长度值B；利用值A与值B得到比例值C；C就表示了口腔张开的程度，即张开度；张开度越大就表示小朋友的口腔张的越大，张开度越小就表示小朋友的口腔张的越小。
[0085] 根据本发明的一个可选的实施方式，步骤103中，所述根据所述张开度，从所述候选图片中获取合格口部图片，包括：
[0086] 所述候选图片中口部的张开度大于预设阈值，当前的所述候选图片为合格口部图片。
[0087] 示例性地，所述预设阈值可以是0.8。口部张开度的情况，可以参见图2、图3。图2为张开度为0.6的情况，图3为张开度为1.0的情况。
[0088] 为了提示被检测者，口部的张开度，即C的值按照0～1可以划分为五个等级，依次为[0,0.2]，[0.2,0.4]，[0.4,0.6]，[0.6,0.8]，[0.8,1.0]，其中的临界值包括在上一个组内，不包括在下一个组内，例如0.8包括在[0.6,0.8]内，而不包括在[0.8,1.0]内。然后将5个等级通过设备外壳的指示灯展示出来，例如，C的值在[0,0.2]的区间内时，控制设备外壳的指示灯点亮一个灯泡；当C的值在[0.2,0.4]的区间内时，控制设备外壳的指示灯点亮两个灯泡；以此类推，当C的值在[0.8,1]的区间内时，控制设备外壳的指示灯点亮五个灯泡；当C的值大于1的情况，也是点亮五个灯泡。这样，被检测者可以及时调整自己的口部张开度，以提高检测效率。并且当被检测者是小朋友时，将嘴巴靠近，随着嘴巴张开的越大，小朋友就会观察到指示灯亮的灯泡越多，既达到了指示作用，也非常具有趣味性。示例性地，灯泡可以是LED灯。
[0089] 以上等级的展示中，如果张开度正好位于临界值，按较小的等级算，例如张开度为0.2，则属于[0,0.2]这一个等级。
[0090] 示例性地，也可以将设备外壳的指示灯分为红色灯和绿色灯，口部的张开度大于0.8的，点亮绿色灯，否则点亮红色灯。这样，指示更明确。
[0091] 根据本发明的一个可选的实施方式，所述方法还包括：
[0092] 从所述候选图片中，排除未包含预设特征的合格口部图片；所述预设特征为清晰的上颚和喉部特征。
[0093] 这里，未包含预设特征的原因可以是：照片模糊，或者口腔内含有食物等将上颚和喉部遮挡。本步骤既可以在步骤103之后进行，也可以在步骤101之后进行。
[0094] 这里，示例性地，排除未包含预设特征的合格口部图片，也是根据预设的排除模型检测的。示例性地，排除模型是通过神经网络对大量候选图像深度学习得到，通过深度学习的排除模型，能快速排除未包含预设特征的合格口部图片，提高智能设备工作效率。
[0095] 这里，示例性地，所述排除模型的深度学习过程可以包括如下步骤：
[0096] Ⅰ选取样本。首先选取两万张包含预设特征的合格口部图片作为训练数据的正样本，另外选取两万张不包含预设特征的口部图片作为训练数据的负样本。
[0097] Ⅱ设计专用的分类卷积神经网络模型。针对解决智能晨检设备中涉及的模型参数比较少，为模型执行更快。专门为此设计出更为精简的卷积网络。具体为：由LeNet‑5为基础，将网络模型中的5*5的卷积核替换成两个3*3的卷积核，然后将3*3的卷积核替换成深度可分离卷积核，加快了模型执行速度。
[0098] Ⅲ利用设计的排除模型训练上述步骤Ⅰ中收集的正负样本，设置模型输出2个值，训练损失函数为二分类交叉熵函数，最终得到卷积二分类网络模型。
[0099] Ⅳ用完成的模型进行检测时，输入一张候选图片到模型，模型输出1代表口腔包含预设特征，当网络输出0代表口腔不包含预设特征。
[0100] 实施例二
[0101] 本实施例提供了一种合格口部图片获取装置400，如图4所示，所述装置包括第一获取模块401、第二获取模块402和第三获取模块403；其中，
[0102] 所述第一获取模块401，用于获取包含口部的候选图片；
[0103] 所述第二获取模块402，用于根据所述候选图片，获取所述候选图片中口部的张开度；
[0104] 所述第三获取模块403，用于根据所述张开度，从所述候选图片中获取合格口部图片。
[0105] 为了说明的更清楚，下面将分别对各个模块作详细说明：
[0106] 具体地，所述第一获取模块401用于：
[0107] 根据预设的目标检测模型，检测通过成像部件获取的图片；
[0108] 检测到包含口部特征的图片，当前检测的图片为所述候选图片。
[0109] 具体地，所述第二获取模块402，用于：
[0110] 根据预设的关键点检测模型，获取所述候选图片中口部四周的关键点；
[0111] 根据获取的关键点，获取所述口部的张开度。
[0112] 更具体地，所示第二获取模块402用于：
[0113] 获取口部中上嘴唇中间点、下嘴唇中间点、嘴角左侧点和嘴角右侧点；
[0114] 所述根据获取的关键点，获取所述口部的张开度，包括：
[0115] 获取所述上嘴唇中间点和所述下嘴唇中间点的第一间距；
[0116] 获取所述嘴角左侧点和所述嘴角右侧点之间的第二间距；
[0117] 将所述第一间距和所述第二间距的比值作为所述口部的张开度。
[0118] 具体地，所述第三获取模块403用于：
[0119] 所述候选图片中口部的张开度大于预设阈值，当前的所述候选图片为合格口部图片。
[0120] 进一步地，所述装置还包括排除模块404，所述排除模块404用于：
[0121] 从所述候选图片中，排除未包含预设特征的合格口部图片；所述预设特征为清晰的上颚和喉部特征。
[0122] 在一些实施例中，本发明实施例的装置可以用于执行上述实施例中所描述的合格口部图片获取方法，当然也可以包括用于执行上述实施例所描述的合格口部图片获取方法中的任意流程和/或步骤的模块，为了简洁，不再赘述。
[0123] 以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
[0124] 本发明实施例所包括的各模块，可以通过智能设备中的处理器来实现；当然也可通过智能设备中的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
[0125] 实施例三
[0126] 本实施例提供了一种智能设备，在具体实施时，所述智能设备可以是幼儿园晨检设备，能够理解，所述智能设备也可以用于其它学校和其它需要检测的场所，如医院、工厂、商场等。
[0127] 如图5所示，所述设备包括：存储器501、通信总线502和处理器503，其中：
[0128] 所述存储器501，用于存储合格口部图片获取方法程序；
[0129] 所述通信总线502，用于实现所述存储器501和所述处理器503之间的连接通信；
[0130] 所述处理器503，用于执行存储器501中存储的合格口部图片获取方法程序，以实现如实施例一所述的合格口部图片获取方法的步骤。
[0131] 具体地，所述处理器503可以是基于精简指令集计算机(RISC，Reduced Instruction Set Computer)架构的多核处理器503；所述存储器501可以是高容量的磁性存储器501。
[0132] 具体地，所述设备还包括：外部通信接口504、拍摄部件505、显示屏506和语音提示部件507，其中：
[0133] 所述外部通信接口504，可以用于与外部的终端通信，外部的终端包括服务器或客户端，所述外部通信接口504可以包括有线接口和无线接口；
[0134] 所述拍摄部件505，可以用于拍摄口部照片；
[0135] 所述显示屏506，可以用于实时显示口部照片、候选图片中口部四周的关键点或提示信息；
[0136] 所述语音提示部件507，可以用于提示被检测者，例如可以提示被检测者站立位置不对、口腔张开度不符合要求等。
[0137] 以上设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本实施例的智能设备中未披露的技术细节，请参照本发明中方法实施例的描述而理解。
[0138] 实施例四
[0139] 本实施例提供了一种智能设备，在具体实施时，所述智能设备可以是幼儿园晨检设备，能够理解，所述智能设备也可以用于其它学校和其它需要检测的场所，如医院、工厂、商场等。
[0140] 如图6所示，所述设备包括：合格口部图片获取装置601、外壳602和指示灯603；
[0141] 所述合格口部图片获取装置601，用于获取包含口部的候选图片，根据所述候选图片，获取所述候选图片中口部的张开度，根据所述张开度，从所述候选图片中获取合格口部图片；
[0142] 所述外壳602，用于包覆所述合格口部图片获取装置；
[0143] 所述指示灯603，用于指示所述候选图片中口部的张开度，所述指示灯603设置于所述外壳侧壁或顶端。
[0144] 这里，口部的张开度，即C的值按照0～1可以划分为五个等级，依次为[0,0.2]，[0.2,0.4]，[0.4,0.6]，[0.6,0.8]，[0.8,1.0]，其中的临界值包括在上一个组内，不包括在下一个组内，例如0.8包括在[0.6,0.8]内，而不包括在[0.8,1.0]内。然后将5个等级通过所述指示灯603展示出来，例如，C的值在[0,0.2]的区间内时，所述指示灯603点亮一个灯泡；当C的值在[0.2,0.4]的区间内时，所述指示灯603点亮两个灯泡；以此类推，当C的值在[0.8,1]的区间内时，所述指示灯603点亮五个灯泡；当C的值大于1的情况，所述指示灯603也是点亮五个灯泡。这样，被检测者可以及时调整自己的口部张开度，以提高检测效率。并且当被检测者是小朋友时，将嘴巴靠近，随着嘴巴张开的越大，小朋友就会观察到所述指示灯603亮的灯泡越多，既达到了指示作用，也非常具有趣味性。
[0145] 以上设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本实施例的智能设备中未披露的技术细节，请参照本发明中方法实施例的描述而理解。
[0146] 实施例五
[0147] 本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行程序，所述可执行程序被处理器执行时实现如实施例一所述的合格口部图片获取方法的步骤。
[0148] 所述计算机可读存储介质可以是高容量的磁性存储器。
[0149] 以上计算机可读存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本实施例的计算机可读存储介质中未披露的技术细节，请参照本发明中方法实施例的描述而理解。
[0150] 在本发明实施例记载中，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0151] 本发明实施例中如有涉及的术语“第一\第二\第三”，仅是区别类似的物体，不代表针对物体的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。
[0152] 应理解，说明书通篇中提到的“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多张实施例中。
[0153] 应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0154] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
