技术领域
[0001] 本发明涉及图像处理技术领域，尤其涉及一种逆光场景的人脸区域处理方法和装置。
相关背景技术
[0002] 通常，在拍照时，如果用户人脸位于光源和摄像头之间，会导致被摄用户人脸曝光不充分，出现逆光的效果。而在该逆光场景下拍摄的用户的人脸图像中，亮度非常低，用户人脸较黑暗，面试细节较为模糊。
[0003] 相关技术中，为了提高逆光场景下的人脸亮度，把感光度ISO拉得很高，以通过增强对光灵敏度来提高人脸区域亮度，然而，ISO拉高后，噪声也会很大，降噪程度也会增强，从而会导致整张画面过亮，且降噪过强，往往会导致人像肤色变淡，没有血色，图像显示的视觉效果较差。
具体实施方式
[0023] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0024] 基于以上分析，可以理解的是，相关技术中，如果提高ISO感光度，则图像传感器对光线的敏感度得到提高，在对光线的敏感度一旦提高，那么受到环境干扰而产生的噪声也会增大，为了减小图像中由于噪声而产生的一些无关像素点，针对图像的降噪力度会增加，但是随着降噪力度的增加，会导致图像的一些细节丢失，使得人脸区域面部颜色变淡、没有血色，视觉效果较差。
[0025] 为了解决提高人脸亮度与失去面部细节之间的矛盾的技术问题，本发明提出了一种逆光场景的人脸区域处理方法，可以在提高逆光场景下，提升人脸区域的亮度的同时，避免牺牲脸部的细节，使得图像的视觉显示效果较强。
[0026] 下面参考附图描述本发明实施例的逆光场景的人脸区域处理方法和装置。
[0027] 图1是根据本发明一个实施例的逆光场景的人脸区域处理方法的流程图，如图1所示，该方法包括：
[0028] 步骤101，当检测到逆光场景，对当前拍摄画面分离出前景和逆光背景。
[0029] 可以理解的是，如图2所示，当被摄人物处于光源和摄像头之间时，由于光是沿直线传播的，因此，被摄人物的背面有较强的光线照射而正面光线不足，用户人脸区域较为模糊，用户对画面呈现效果并不满意。
[0030] 因而，在本实施例中，如果用户不希望改变拍摄方向，则为了针对性的提高人脸区域亮度，可以分离出人脸区域所在位置。
[0031] 具体而言，由于在对拍摄的目标物体聚焦后，在目标物体所在的焦点区域之前和之后一段人眼容许的清晰成像的空间深度范围为景深，其中，在焦点区域之前清晰成像的范围为前景景深，人脸区域所在位置处于前景景深中，在焦点区域之后清晰成像的范围为背景景深，逆光背景处于背景景深中，因而在本实例中，根据景深信息对当前拍摄画面分离出前景和逆光背景。
[0032] 需要说明的是，根据具体应用场景的不同，对当前拍摄画面分离出前景和逆光背景的方式不同，举例说明如下：
[0033] 第一种示例：
[0034] 可获取拍摄的相关参数，以根据拍摄摄像头的公式计算预览画面中焦点区域之外的图像区域的景深信息。
[0035] 在本示例中，可获取拍摄摄像头的容许弥散圆直径、光圈值、焦距、对焦距离等参数，从而根据公式：前景景深＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方+光圈值*容许弥散圆直径*对焦距离)计算出前景景深，已根据前景景深分离出前景，并根据公式背景景深＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方-光圈值*容许弥散圆直径*对焦距离)计算出逆光背景的景深，进而根据逆光背景的景深分离出逆光背景。
[0036] 第二种示例:
[0037] 根据双摄像头分别获取的当前拍摄画面数据确定焦点区域之外的图像区域的景深地图,根据景深地图确定焦点区域之前的前景景深和焦点区域之后的背景景深,并根据前景景深和背景景深分离出前景和逆光背景。
[0038] 具体而言，在本示例中，由于两个摄像头的位置并不相同，因而，两个后置摄像头相对与拍摄的目标物体具有一定的角度差和距离差，因此二者获取的预览图像数据也存在一定的相位差。
[0039] 举例而言，对于拍摄目标物体上的A点，在摄像头1的预览图像数据中，A点对应的像素点坐标为(30，50)，而在摄像头2的预览图像数据中，A点对应的像素点坐标为(30，48)，A点在两个预览图像数据中对应的像素点的相位差为50-48＝2。
[0040] 在本示例中，可预先根据实验数据或者摄像头参数建立景深信息与相位差的关系，进而，可根据预览图像中各图像点在两个摄像头获取的预览图像数据中的相位差查找对应的景深信息。
[0041] 举例来说，对于上述A点对应的相位差2，如果根据预设的对应关系查询到对应的景深为5米，则预览画面中A点对应的景深信息为5米。由此，可得到当前预览画面中每个像素点的景深信息，即获取焦点区域之外的图像区域的景深地图。
[0042] 进而，在得到焦点区域之外的图像区域的景深地图后，可进一步确定焦点区域之前的图像区域的前景景深信息，以及焦点区域之后的背景景深信息，从而，根据景深地图确定焦点区域之前的前景景深和焦点区域之后的背景景深,并根据前景景深和背景景深分离出前景和逆光背景。
[0043] 步骤102，对前景进行亮度提升处理，并确定前景中的人脸区域。
[0044] 可以理解的是，逆光场景下的人脸区域和前景中的其他区域亮度均较低，人脸区域相比于其他区域的界限较为模糊，因而，此时对前景进行亮度提升处理，此时不但提高了人脸区域的亮度，使得人脸清晰可见，而且使得人脸区域相比于其他区域的界限较为清晰，便于提取出人脸区域，以针对人脸区域进行进一步处理。
[0045] 其中，在不同的应用场景下，可采用不同的实现方式实现对前景中的人脸区域的确定，举例说明如下：
[0046] 第一种示例：
[0047] 前景中人脸区域和其他区域的颜色是不一样的，人脸区域为肤色等人体颜色，而其他区域为其他与人脸区域的颜色不同的其他景物的颜色，因此，可以通过颜色通道检测算法，识别出肤色所在区域以根据肤色所涵盖的区域确定前景中人脸区域的轮廓边缘。
[0048] 第二种示例：
[0049] 由于图像边缘具有不连续性，比如灰度级的突变，颜色的突变以及纹理结构的突变等，这种边缘存在于物体与背景之间，因此，在本示例中，利用图像边缘的这种特性，通过CANNY算法、小波变换算法等图像边缘检测算法确定前景中人脸区域的轮廓边缘。
[0050] 步骤103，调整预设的与逆光场景对应的CCM模型参数提高人脸区域的饱和度。
[0051] 正如以上分析的，当提高人脸区域的亮度时，人脸区域的面部细会丢失从而使得面部苍白失去血色，而面部苍白丢失血色实际上体现在人脸区域饱和度不高上，其中，饱和度是指色彩的鲜艳程度，也称色彩的纯度，人脸区域饱和度取决于人脸区域中含色成分和消色成分(灰色)的比例，含色成分越大，饱和度越大，消色成分越大，饱和度越小。
[0052] 由此，如果提高面部的饱和度则会提高人脸区域的含色成分，从而使得人脸区域红润有光泽。
[0053] 具体而言，在本发明的实施例中，基于CCM模型参数的调整实现饱和度的调整。
[0054] 其中，CCM模型(Color Color Matrix，色彩校正矩阵)的计算公式为以下公式(1)所示：
[0055]
[0056] 其中，CCM之前的像素为 CCM之后的像素为
[0057] 也就是说，CCM的实现基于一个简单的线性矩阵，在G路中调节R-G、B-G的系数，在R路中调节G-R、B-R的系数，在B路中调节G-B、R-B的系数就可以进行彩色校正以改变画面的色调。其中，CCM模型在进行颜色校正时不应该影响白平衡，由于摄像设备各路增益是按白色平衡条件来调整的，即当摄取白色景物时，三路输出R、G、B的幅度应相等，也就是说校正后的三基色应该保持R＝G＝B，根据该关系，上述公式(1)中的各个系数的关系如下：因此，CCM之后的像素为 可以表示为：
基于以上对应关系可知，可以通过改变CCM模型矩阵中对角线上的参数C00、C11、C22的值实现对RGB颜色分配的调整，从而实现对饱和度的调整。
[0058] 然而，在实际应用中，通过CCM模型参数提高整张画面的饱和度的时候，画面中顺光区域的饱和度也得到了提升，从而可能会导致顺光区域的颜色失真等，影响顺光区域的显示效果。
[0059] 因此，在本发明的实施例中，分别检测逆光场景和顺光场景下拍摄物体的饱和度，根据检测结果设置与逆光场景对应的CCM模型参数，调整预设的与逆光场景对应的CCM模型参数提高处于逆光中的人脸区域的饱和度。
[0060] 其中，应当理解的是，上述CCM模型参数针对逆光场景进行设置，因而在实际调整过程中，顺光区域的饱和度是不发生改变的，该CCM模型参数的实施，只能对逆光区域中的人脸区域作用，由于CCM模型参数的设置与色温和亮度对画面颜色强相关，因此，为了避免CCM模型参数在实施过程中，对顺光区域发生调整，上述设置与逆光场景对应的CCM模型参数，是基于相同的色温和亮度的逆光场景和顺光场景进行设置的。
[0061] 需要强调的是，在本发明的实例中，在逆光场景下，采用基于深度信息的方式进行人脸区域的提取，相对于直接人脸识别以获取人脸区域的提取精确度更高，这是由于在逆光场景下，人脸区域的亮度较低，特征不明显，很有可能直接进行面部识别导致识别失败。
[0062] 由此，本发明实施例的逆光场景的人脸区域处理方法，在提高人脸面部亮度后，基于CCM模型参数的调节实现对人脸区域饱和度的调整，提高人脸区域的含色成分，使得人脸红润有光泽。且基于CCM模型参数进行饱和度调节时，由于CCM模型参数是基于逆光场景设置的，因而，在调整过程中，仅仅针对逆光场景中的人脸区域进行饱和度的调整。即单独为逆光场景，设置一组CCM模型参数，使逆光场景的CCM模型参数与正常场景分开，避免在调试过程中，因增加逆光场景饱和度，对画面中顺光区域的负面影响。
[0063] 为了更加清楚的体现逆光场景的人脸区域处理流程，下面举例说明，当检测到如图3(a)所示的逆光场景时，对当前拍摄画面分离出前景和逆光背景，进而，对前景进行亮度提升处理，如图3(b)所示，处理后的人脸面部亮度提高，但是面部细节丢失，进而，调整预设的与逆光场景对应的CCM模型参数提高人脸区域的饱和度，则如图3(c)所示，人脸的面部红润后光泽，且亮度得到了提升，同时顺光区域的饱和度没有收到负面影响。
[0064] 综上所述，本发明实施例的逆光场景的人脸区域处理方法，当检测到逆光场景，对当前拍摄画面分离出前景和逆光背景，对前景进行亮度提升处理，并确定前景中的人脸区域，调整预设的与逆光场景对应的CCM模型参数提高所述人脸区域的饱和度。由此，在调高处于逆光情况下的人脸区域图像时，避免了人脸肤色变淡而没有血色的问题，在提升图像质量的同时，避免对顺光区域的负面影响，保证了图像显示的视觉效果。
[0065] 基于以上实施例，应当理解的是，在不同的应用场景下，由于逆光的环境光线的强度的不同，人脸区域的暗化程度不同，环境光线越强烈，人脸区域越暗，环境光线越不强烈，人脸区域越明亮，人脸区域越暗，失去的面部细节越多，需要提升饱和度程度更高，因此，为了提升提高对人脸区域的饱和度时的处理效果，根据当前环境的逆光强度进行饱和度的调整。
[0066] 如图4所示，上述步骤103包括：
[0067] 步骤201，检测当前场景的逆光强度。
[0068] 应当理解的是，在拍照时用户背部的光线强度越高，当前场景的逆光强度越高，用户的面部区域所在前景越暗。
[0069] 检测当前场景的逆光强度的方式，可根据具体应用场景的不同而不同，比如，获取摄像头模组中感光元件感应到的逆光强度，比如，根据前景的亮度计算逆光强度等。
[0070] 步骤202，获取与逆光强度对应的增强幅度。
[0071] 其中，增强幅度对应与饱和度提高幅度，增强幅度越高，饱和度的提高幅度越大，反之，增强幅度越低，饱和度的提高幅度越小。
[0072] 需要说明的是，根据应用场景的不同，可采用多种不同的实现方式获取与逆光强度对应的增强幅度，作为一种可能的实现方式，预先存储逆光强度与增强幅度的对应关系，从而，在获取逆光强度后，查询上述对应关系，获取对应的增强幅度。作为另一种可能的实现方式，根据逆光强度与增强幅度的关系生成转换函数，从而，在获取逆光强度后，通过该转换函数获取对应的增强幅度。
[0073] 步骤203，根据增强幅度调整预设的与逆光场景对应的CCM模型参数提高人脸区域的饱和度。
[0074] 具体地，根据与当前场景下的逆光强度相一致的增强幅度，调整CCM模型参数以实现对人脸区域对应的饱和度的提高，使得人脸区域的不会出现过饱和或者欠饱和的情况，处理效果较好，该CCM模型参数且仅仅对逆光场景下的人脸区域进行饱和度的提高，避免了对顺光区域的负面影响。
[0075] 当然，在实际应用中，人脸每个部位的肤色也是不同的，比如，通常情况下，人脸脸颊相对于额头较为红润一些等，因而，为了进一步提高处理效果，还可以对人脸区域不同部位确定不同的饱和度系数，以根据不同的饱和系数对人脸区域不同部位实施不同程度的饱和度的调整。
[0076] 具体而言，获取与人脸区域不同部位对应的饱和度调整系数，其中，现实中越红润的部位的饱和度系数越高，进而，根据不同部位对应的饱和度调整系数和增强幅度，计算与不同部位对应的提升幅度，根据与不同部位对应的提升幅度，调整预设的与逆光场景对应的CCM模型参数提高人脸区域对应位置的饱和度。
[0077] 综上所述，本发明实施例的逆光场景的人脸区域处理方法，根据当前场景的逆光强度确定增强幅度，根据增强幅度调整预设的与逆光场景对应的CCM模型参数提高人脸区域的饱和度。由此，为待处理的人脸区域选择合适的增强幅度进行饱和度的提高，避免人脸区域的过饱和或欠饱和，进一步提升了图像显示的视觉效果。
[0078] 为了实现上述实施例，本发明还提出了一种逆光场景的人脸区域处理装置，图5是根据本发明一个实施例的逆光场景的人脸区域处理装置的结构示意图，如图5所示，该逆光场景的人脸区域处理装置包括：分离模块100、亮度提升模块200、确定模块300和调整模块400。
[0079] 其中，分离模块100，用于当检测到逆光场景，对当前拍摄画面分离出前景和逆光背景。
[0080] 在本发明的一个实施例中，如图6所示，分离模块100包括第一获取单元110、确定单元120和分离单元130。
[0081] 其中，第一获取单元110，用于根据双摄像头分别获取的当前拍摄画面数据确定焦点区域之外的图像区域的景深地图。
[0082] 确定单元120，用于根据所述景深地图确定所述焦点区域之前的前景景深和所述焦点区域之后的背景景深。
[0083] 分离单元130，用于根据所述前景景深和所述背景景深分离出前景和逆光背景。
[0084] 亮度提升模块200，用于对前景进行亮度提升处理。
[0085] 确定模块300，用于确定前景中的人脸区域。
[0086] 调整模块400，用于调整预设的与逆光场景对应的CCM模型参数提高人脸区域的饱和度。
[0087] 需要说明的是，前述对逆光场景的人脸区域处理方法的解释说明，也适用于本发明实施例的逆光场景的人脸区域处理装置，其实现原理类似，在此不再赘述。
[0088] 综上所述，本发明实施例的逆光场景的人脸区域处理装置，当检测到逆光场景，对当前拍摄画面分离出前景和逆光背景，对前景进行亮度提升处理，并确定前景中的人脸区域，调整预设的与逆光场景对应的CCM模型参数提高所述人脸区域的饱和度。由此，在调高处于逆光情况下的人脸区域图像时，避免了人脸肤色变淡而没有血色的问题，在提升图像质量的同时，避免对顺光区域的负面影响，保证了图像显示的视觉效果。
[0089] 图7是根据本发明又一个实施例的逆光场景的人脸区域处理的结构示意图，如图7所示，在如图5所示的基础上，调整模块400包括检测单元410、第二获取单元420和调整单元430。
[0090] 其中，检测单元410，用于检测当前场景的逆光强度。
[0091] 第二获取单元420，用于获取与逆光强度对应的增强幅度。
[0092] 调整单元430，用于根据增强幅度调整预设的与逆光场景对应的CCM模型参数提高人脸区域的饱和度。
[0093] 需要说明的是，前述对逆光场景的人脸区域处理方法的解释说明，也适用于本发明实施例的逆光场景的人脸区域处理装置，其实现原理类似，在此不再赘述。
[0094] 综上所述，本发明实施例的逆光场景的人脸区域处理装置，根据当前场景的逆光强度确定增强幅度，根据增强幅度调整预设的与逆光场景对应的CCM模型参数提高人脸区域的饱和度。由此，为待处理的人脸区域选择合适的增强幅度进行饱和度的提高，避免人脸区域的过饱和或欠饱和，进一步提升了图像显示的视觉效果。
[0095] 为了实现上述实施例，本发明还提出了一种终端设备，图8是根据本发明一个实施例的终端设备的结构示意图。如图8所示，该终端设备1000包括：壳体1100和位于壳体1100内的处理器1110、存储器1120，其中，处理器1110通过读取存储器1120中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行上述实施例描述的逆光场景的人脸区域处理方法。
[0096] 为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例所述的逆光场景的人脸区域处理方法。
[0097] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0098] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0099] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0100] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0101] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
[0102] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0103] 此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0104] 上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
