[0001] 本文中所讨论的实施方式涉及用于确定对象的眼睛和眉毛的技术。

[0002] 存在用于从图像中检测对象的眼睛区域的技术。该用于检测眼睛区域的技术被用于各种技术。例如，作为各种技术中之一，存在用于使用近红外光源和近红外摄像头通过角膜反射方法来检测人或对象的凝视的技术(例如，参见非专利文献1)。

[0003] 角膜反射方法：使用近红外光源在来自近红外光源的光在角膜上被反射的状态下获取图像；从图像中检测眼睛区域；以及根据瞳孔的中心的位置与角膜反射区的从眼睛区域识别的中心位置之间的位置关系来检测对象的凝视。

[0004] 作为用于检测对象的眼睛区域的技术，例如，已知有使用模板匹配或眼睛的特征信息的方法。然而，在使用模板匹配等的方法中，会检测到是眉毛区域等而不是眼睛区域的区域。为了避免这个问题，存在有下述方法，该方法通过模板匹配等来识别针对眼睛的候选区域并且根据与不同于眼睛的面部部位(鼻子和嘴)的位置关系来在针对眼睛的候选区域中识别眼睛区域。

[0005] 此外，作为与使用不同于眼睛的面部部位的方法不同的方法，存在有下述处理设备，该处理设备在注意眼睛区域的直方图与眉毛区域的直方图之间的差异的情况下区分眼睛区域和眉毛区域(例如，专利文献1)。

[0006] 引用列表

[0007] [专利文献]

[0008] [专利文献1]日本公开特许公报No.08-300978

[0009] [非专利文献]

[0010] [非专利文献1]Takehiko Ohno等人的“An Eye Tracking System Based on Eyeball Model–Toward Realization of Gaze Controlled Input Device-，”Research Report of Information Processing Society of Japan，2001-HI-93，2001年，第47页至第54页。

[0032] 在下文中，参照附图详细描述本文所公开的检测技术的实施方式。本文所公开的技术不受各实施方式限制。

[0033] [第一实施方式]

[0034] 在第一实施方式中，从对象面部的图像中检测针对眼睛的候选区域，并且基于候选区域的高频分量来确定可能与眉毛对应的区域和可能与眼睛对应的区域。之后，将排除被确定为可能与眉毛对应的区域(眉毛区域)的候选区域的候选区域的信息用于非专利文献1所公开的凝视检测技术。

[0035] 此外，还将针对眼睛的排除眉毛区域的候选区域的信息用于通过监测眼睛区域来检测对象眨眼的技术以及用于凝视检测技术。例如，可以将用于检测眨眼的技术应用于对作为对象的驾驶员的睡意的检测。此外，还将针对眼睛的排除眉毛区域的候选区域的信息用于通过监测眼睛区域的位置的变化来检测对象的打盹或者面部的朝向的变化的技术。例如，可以将该技术应用于与肢体残疾人进行通信的工具。

[0036] 图1是根据第一实施方式的确定设备的功能框图。确定设备1从对象的面部的图像中检测针对眼睛的候选区域，基于图像中的空间频率的高频分量的量来确定可能与眉毛对应的候选区域(眉毛区域)，以及确定极有可能是眼睛区域的候选区域。高频分量指示从对象侧的反射率的变化并且高频分量被检测为例如边缘、高亮度孤立像素等。

[0037] 例如，在确定设备1确定用于凝视检测的眼睛区域的情况下，确定设备1连接至被配置成对使用近红外光照射的对象进行成像的摄像头并且将从摄像头获取的图像用作要被处理的目标。此外，在确定设备1确定用于视线检测的眼睛区域的情况下，确定设备1将处理结果输出至用于识别对象的瞳孔的位置以及响应于近红外光的角膜反射区的位置的另一设备或算法。其他设备或算法将由确定设备1检测到并且可能是眼睛区域的候选区域用作要被处理的候选区域并且在要被处理的候选区域内执行用于识别对象的瞳孔的位置和由近红外光诱出的角膜反射区的位置的处理。

[0038] 确定设备1包括获取单元11、候选区域检测单元12、提取单元13、计算单元14、确定单元15、输出单元16和存储单元17。获取单元11从摄像头获取包括对象的面部的图像。如果摄像头是近红外摄像头，则图像是近红外图像。

[0039] 候选区域检测单元12基于人眼的特征信息来从图像中检测作为针对对象的眼睛区域的候选者的候选区域。通常，将左眼和右眼两只眼睛以及具有眼睛的特征信息的区域(例如，眉毛区域)检测为候选区域。

[0040] 作为用于检测候选区域的方法，例如，已知存在以下方法。第一方法是检测作为虹膜的特征的暗圆形区域并且将包括该圆形区域的区域设置为候选区域。

[0041] 具体地，候选区域检测单元12使用图像的亮度信息来识别其亮度等于或小于阈值的像素并且将所识别的像素分组到各区域中。然后，候选区域检测单元12确定所分组的区域的形状是否为近似圆形。为了确定形状是否为近似圆形，例如，可以使用Wilhelm Burger等人的“Digital Image Processing”第224页至第225页和Ken-ichiro Muramoto等人的“Analysis of  Snowflake Shape  by a Region and Contour Approach”，The transactions of the Institute of Electronics,Information and Communication Engineers of Japan，1993年5月，第J76-D-II卷，第5期，第949页至第958页所公开的技术。

[0042] 如果候选区域检测单元12确定所分组的区域的形状为近似圆形，则候选区域检测单元12基于所分组的区域来设置矩形区域。例如，将矩形区域的重心设置为近似椭圆的中心，将矩形区域的长边(沿X轴方向)设置为近似椭圆的直径的三倍的值，并且将矩形区域的短边(沿Y轴方向)设置为等于近似椭圆的直径。此外，例如，矩形区域可以不取决于近似椭圆的尺寸，并且可以预先设置矩形区域的尺寸。

[0043] 第二方法是用于通过模板匹配来检测针对眼睛的候选区域。候选区域检测单元12将图像划分成预定尺寸的矩形区域并且计算矩形区域的典型亮度值。将矩形区域中所包括的像素的平均值等用作典型亮度值。

[0044] 例如，候选区域检测单元12使用图2所示的模板。图2示出了模板的示例。

[0045] 在面部图像中，两只眼睛部位是暗的而鼻子和脸颊是亮的。因此，模板具有其典型亮度值小于阈值的左上矩形区域、其典型亮度值等于或大于阈值的中上矩形区域、其典型亮度值小于阈值的右上矩形区域、其典型亮度值等于或大于阈值的左下矩形区域以及其典型亮度值等于或大于阈值的右下矩形区域。当识别到与模板匹配的区域时，候选区域检测单元12将左上矩形区域和右上矩形区域检测作为候选区域。

[0046] 第三方法是用于在图像是用于凝视检测的近红外图像的情况下通过使用由近红外光诱出的角膜反射区出现在眼球上的事实以及使用该角膜反射区的特征来检测候选区域。候选区域检测单元12检测作为角膜反射区的特征的高亮度像素的组。例如，如果亮度值在0至256的范围内，则候选区域检测单元12检测其亮度值等于或大于200的像素的组。然后，基于像素的组的中心来设置矩形区域并且将该矩形区域用作候选区域。然而，如果组中所包括的像素的数量等于或大于预定值，则可以将被成像的对象确定为不会出现角膜反射区的非人对象(例如，白色布料等)并且可以排除该组。

[0047] 可以使用与上述第一方法至第三方法不同的方法作为检测针对眼睛的候选区域的方法。候选区域检测单元12可以执行第一方法至第三方法中的仅任何方法或者可以对第一方法至第三方法中的多种方法进行组合并且执行所述多种方法。

[0048] 如上所述，可以使用用于检测针对眼睛的候选区域的各种方法。例如，在第一方法中，如果在眉毛部位中检测到低亮度圆形区域，则将候选区域设置在眉毛部位中。在第二方法中，左眉毛部位和右眉毛部位与模板匹配，并且将候选区域设置在眉毛部位中。在第三方法中，如果在眉毛部位中存在可见皮肤的区域，则将该部位检测为高亮度像素的组，并且将候选区域设置在眉毛部位中。因此，要确定候选区域是与眉毛对应的区域还是与眼睛对应的区域。

[0049] 接下来，提取单元13从多个候选区域中提取高频分量。例如，提取边缘或高亮度孤立像素(白点)作为高频分量。如果要提取边缘，则使用Sobel滤波器或Canny滤波器。如果要提取高亮度孤立像素，则使用来自作为提取特征点的方法的加速段测试(FAST)的特征。

[0050] 计算单元14计算多个候选区域的高频分量的量。例如，如果提取单元13提取边缘作为高亮度分量，则计算单元14计算候选区域的边缘量。在这种情况下，边缘量中的每个边缘量是被提取作为边缘的像素的数量。此外，计算单元14根据边缘量计算边缘密度。边缘密度是边缘量与要被处理的候选区域中所包括的所有像素的数量之比。例如，根据下式(1)来计算边缘密度。边缘密度在0至1的范围内。边缘密度指示边缘密度越大，则边缘量越大。

[0051]

[0052] 另一方面，例如，如果提取单元13提取高亮度孤立像素作为高亮度分量，则计算单元14计算候选区域的高亮度孤立像素的数量。此外，计算单元14根据孤立像素的数量来计算孤立像素的密度。孤立像素的密度是孤立像素的数量与要被处理的候选区域中所包括的所有像素的数量之比。例如，根据下式(2)来计算孤立像素的密度。孤立像素的密度在0至1的范围内。孤立像素的密度指示孤立像素的密度越大，则孤立像素的数量越大。

[0053]

[0054] 接下来，确定单元15确定多个候选区域是与眼睛对应的区域还是与眉毛对应的区域(眉毛区域)。确定单元15将预先设置的阈值与高频分量的密度进行比较。通过预先学习来确定阈值并且将该阈值设置为适于区分眼睛和眉毛的值。例如，阈值为0.2。

[0055] 以下描述高频分量的量与眼睛区域的确定性之间的关系。图3A和图3B是描述高频分量的量与眼睛区域的确定性之间的关系的图。

[0056] 图3A示出了图像的一部分(在下文中称为面部图像100)。图3A示出了候选区域检测单元12已经从对象的面部图像100中检测到候选区域101至104作为针对眼睛的候选区域的状态。

[0057] 图3B示出了通过从面部图像100的候选区域101至104中提取边缘作为高频分量而获得的边缘图像110。图3A所示的候选区域101与图3B所示的候选区域111对应。图3A所示的候选区域102与图3B所示的候选区域112对应。图3A所示的候选区域103与图3B所示的候选区域113对应。图3A所示的候选区域104与图3B所示的候选区域114对应。

[0058] 如图3A和图3B所示，与从与眼睛对应的候选区域111和112检测到的边缘的数量相比，从与眉毛对应的候选区域113和114检测到的边缘的数量更大。具体地，边缘密度等于或大于预定值(阈值)。因此，确定单元15将预先设置的阈值与高频分量的量(或密度)进行比较，从而确定候选区域是否为眉毛区域。如果检测高亮度孤立像素作为高频分量，则从眉毛区域检测到的孤立像素的数量更大。因此，如果候选区域的孤立像素的密度等于或大于预定值(阈值)，则可以确定该候选区域与眉毛对应。

[0059] 接下来，输出单元16输出由确定单元15做出的确定的结果。例如，输出单元16输出在多个候选区域中并且排除眉毛区域的候选区域的信息。输出在图3A和图3B所示的候选区域101至104中并且排除眉毛区域103和104的候选区域(101和102)的信息。例如，输出信息的目的地是用于检测瞳孔的位置或者用于凝视检测的角膜反射区的位置的设备或算法。

[0060] 存储单元17存储要被用于要由确定设备1执行的各种处理的信息。例如，存储单元17存储关于被检测为候选区域的区域的候选区域信息以及各种阈值的信息。

[0061] 图4示出了用于管理候选区域的候选区域信息管理表的数据配置的示例。候选区域信息管理表的数据存储在存储单元17中。

[0062] 在候选区域信息管理表中，候选区域ID、候选区域的位置信息(右上坐标、左上坐标、右下坐标和左下坐标)以及确定结果彼此相关联并且被存储。候选区域ID是识别候选区域的信息。候选区域的位置信息是候选区域在图像中的位置的信息。确定结果是由确定单元15做出的确定的结果。例如，如果确定单元15确定候选区域为眉毛区域，则存储“0”。如果确定单元15确定候选区域不是眉毛区域(或者确定候选区域可能是眼睛区域)，则存储“1”。

[0063] 图4示出了在终止对候选区域101至103的确定之后并且在获得确定候选区域104的结果之前的候选区域信息管理表。具体地，针对候选区域101和102存储确定结果“1”，针对候选区域103存储确定结果“0”，以及确定候选区域104的结果指示“空白(空)”。

[0064] 图5是根据第一实施方式的确定处理的流程图。首先，获取单元11从摄像头获取要被处理的图像(Op.1)。接下来，候选区域检测单元12从图像中检测针对眼睛的候选区域(Op.2)。在检测候选区域的处理中，使用第一方法至第三方法中的一种或多种方法或者使用另外已知的方法。此外，候选区域确定单元12将所检测到的候选区域的信息存储在候选区域信息管理表(存储单元17)中。当执行Op.2时，针对所有候选区域的确定结果都为空白(空)。

[0065] 假定对象的面部的至少一部分或者对象的整个面部处在要被处理的图像中。在Op.2之前，确定设备1可以通过诸如面部检测的技术来确定面部是否处在图像中。如果面部处在图像中，则确定设备1可以执行Op.2及之后的处理。

[0066] 提取单元13提取候选区域内的高频分量(Op.3)。例如，通过前述方法中的任何方法或者通过其他已知的方法来提取边缘或高亮度孤立像素。

[0067] 计算单元14将已从其提取了高频分量的候选区域中的任何候选区域用作要被处理的目标候选区域并且计算目标候选区域中的高频分量的量(Op.4)。例如，计算单元14计算边缘量和边缘密度。可替选地，计算单元14计算高亮度孤立像素的数量和孤立像素的密度。

[0068] 接下来，确定单元15确定高频分量的量是否大于阈值(Op.5)。如果高频分量的量大于阈值(在Op.5中为是)，则确定单元15确定要被处理的候选区域为眉毛区域并且确定单元15将“0”作为确定结果存储在候选区域信息管理表中(Op.6)。另一方面，如果高频分量的量等于或小于阈值(在Op.5中为否)，则确定单元15确定要被处理的候选区域不是眉毛区域并且确定单元15将“1”作为确定结果存储在候选区域信息管理表中(Op.7)。

[0069] 接下来，确定单元15确定是否已经处理了所有候选区域(Op.8)。重复Op.4至Op.8的处理，直到处理完所有的候选区域为止(Op.8中为否)。如果已经处理了所有候选区域(Op.8中为是)，则输出单元16输出处理结果(Op.9)。例如，输出单元16将其确定结果在候选区域信息管理表中指示“1”的候选区域的信息输出至另一算法或设备。

[0070] 如上所述，根据第一实施方式的确定设备1可以基于候选区域的高频分量的量来确定不适于作为眼睛区域的区域(例如，眉毛区域)，并且提高了检测眼睛区域的准确度。特别地，由于可以排除不适于作为眼睛区域的区域(例如，眉毛区域)并且可以在后期处理中输出眼睛区域，因此可以提高后期处理的准确度。

[0071] 此外，通过注意高频分量的量并且删除极有可能为眉毛区域的候选区域来解决其中在检测针对眼睛的候选区域时检测到与眼睛相似的眉毛区域的传统问题。因此，确定设备1不管用于检测针对眼睛的候选区域的技术的准确度如何都可以生成排除眉毛区域的检测结果并且输出检测结果。

[0072] [第二实施方式]

[0073] 在第二实施方式中，检测边缘作为高频分量，并且基于边缘的方向来确定在针对眼睛的候选区域中的眼睛和眉毛。图6是根据第二实施方式的确定设备的功能框图。确定设备2如确定设备1那样确定眼睛和眉毛，但是确定设备2使用沿特定方向的边缘的密度。

[0074] 确定设备2包括获取单元11、候选区域检测单元12、提取单元23、识别单元20、计算单元24、确定单元15、输出单元16和存储单元27。由与在第一实施方式中使用的名称和附图标记相同的名称和附图标记来表示具有与包括在根据第一实施方式的确定设备1中的功能相同的功能的处理部并且省略对所述处理部的描述。以下描述提取单元23、识别单元20、计算单元24和存储单元27。

[0075] 在第二实施方式中，提取单元23提取边缘作为高频分量。在这种情况下，提取单元23执行标记处理，从而对形成边缘的边缘像素进行分组。

[0076] 具体地，提取单元23将被检测为边缘像素的像素用作要被处理的边缘像素并且确定与要被处理的边缘像素中的每个边缘像素相邻的外围像素(八个像素)是否包括另外的边缘像素。如果与目标边缘像素相邻的外围像素包括另外的边缘像素，则提取单元23重复用于将目标边缘像素与另一边缘像素结合为形成单个边缘的像素的处理并且搜索边缘的端点。然而，如果像素已彼此结合，则不执行结合处理。然后，将在对端点进行搜索之前结合的边缘像素分组为形成单个边缘的像素。

[0077] 如果在某边缘像素的八个外围像素中存在三个或更多个边缘像素，则要被处理的某边缘像素是两个或更多个边缘的交点并且提取单元23将边缘划分成两个或更多个边缘。目标边缘像素(交点)包括在所划分的边缘中。

[0078] 识别单元20识别由提取单元23提取的边缘的方向并且从所有候选区域内的所有边缘的方向中识别主边缘方向。在下文中，将主边缘方向称为方向X。

[0079] 图7A和图7B是描述边缘的方向的图。首先，提取单元23执行标记处理，从而将图7A所示的像素a1至a3分组为形成单个边缘a的边缘像素。此外，提取单元23将像素b1至b6分组为形成单个边缘b的边缘像素。提取单元23将像素c1至c7分组为形成单个边缘c的边缘像素。

[0080] 接下来，识别单元20确定边缘的方向。识别单元20针对边缘中所包括的边缘像素中的每个边缘像素来计算与围绕目标边缘像素的八个像素中的另一边缘像素所定位的方向对应的角度。例如，关于边缘a的边缘像素a1，围绕边缘像素a1的八个像素中的另一边缘像素a2被定位成以45°的角沿右上方向。因此，识别单元20针对边缘像素a1计算45°的角。类似地，针对边缘像素a2计算45°的角。

[0081] 此外，由于像素a2被定位成针对边缘像素a3沿左下方向，因此针对边缘像素a3计算225°的角。在第二实施方式中，对于180°或大于180°的角，从180°或大于180°的角减去180°。因此，针对边缘像素a3计算45°的角。

[0082] 接下来，识别单元20计算针对形成边缘中的每个边缘的边缘像素而计算的角度的平均值。对于边缘a而言，计算平均值45°。

[0083] 接下来，识别单元20基于平均值来确定边缘的方向。图7B是示出边缘的平均角度与边缘的方向之间的对应关系的图。在图7B所示的示例中，将八个方向定义为边缘的方向。例如，对于其平均角度为45°的边缘而言，将最靠近边缘a的方向的方向III识别为边缘a的方向。识别单元20确定边缘的方向是否属于其间存在图7所示的由虚线指示的边界的两个相邻方向中的任何一个方向。例如，如果平均角度为10°，则对应边缘的方向为方向I。

[0084] 图8示出了用于管理边缘的方向的边缘方向管理表的数据配置的示例。在边缘方向管理表中，候选区域ID、边缘ID、边缘像素ID、位置信息以及边缘方向彼此相关联并且被存储。具体地，边缘方向管理表用于针对边缘像素来管理边缘的方向。

[0085] 候选区域ID是识别候选区域的信息。边缘ID是识别边缘的信息。边缘像素ID是识别边缘像素的信息。位置信息指示边缘像素的位置(坐标)。边缘方向是指示包括边缘像素的边缘的方向的信息。

[0086] 例如，描述了边缘像素a1。假定从候选区域101提取包括边缘像素a1的边缘a。在这种情况下，候选区域ID“101”、边缘ID“a”以及边缘像素ID“a1”彼此相关联并且被存储。此外，存储坐标(xa1，ya1)作为边缘像素a1的位置信息。此外，当识别到边缘a的边缘方向“III”时，边缘方向“III”与边缘a中所包括的边缘像素a1至a3相关联并且被存储。

[0087] 在前述方式下，边缘的方向被识别单元20识别，与边缘中所包括的边缘像素关联并且被管理。当针对边缘像素确定方向时，识别单元20识别主边缘方向(方向X)。

[0088] 例如，识别单元20参照边缘方向管理表，计算与方向I至III关联的边缘像素的数量并且将针对其已计算的边缘像素的数量最大的方向用作主边缘方向(方向X)。识别单元20不基于从其已提取了边缘的候选区域来识别主边缘方向X。具体地，基于整个边缘方向管理表确定单个方向X。

[0089] 此外，为了识别单元20识别方向X，可以针对各方向计算边缘的数量，而非计算边缘像素的数量。然后，识别单元20将针对其已计算的边缘的数量最大的方向用作主边缘方向(方向X)。

[0090] 接下来，根据第二实施方式的确定设备2的计算单元24计算与所识别的方向X对应的边缘像素的数量以及与所识别的方向X对应的边缘密度。例如，如果方向X是方向I，则计算单元24参照边缘方向管理表并且针对候选区域中的每个候选区域来计算与边缘“I”相关联的边缘像素的数量。此外，与式(1)相似，计算单元24针对候选区域中的每个候选区域将与边缘方向“I”相关联的边缘像素的数量除以对应的候选区域的所有像素的数量并且计算候选区域的边缘密度。

[0091] 与第一实施方式相似，存储单元27存储候选区域信息管理表以及要用于各种处理的信息并且存储边缘方向管理表(图8所示)。

[0092] 图9是根据第二实施方式的确定处理的流程图。由与在第一实施方式中使用的附图标记相同的附图标记来指示与根据第一实施方式的确定处理中所包括的处理相同的处理并且简化对所述处理的描述。首先，获取单元11从摄像头获取要被处理的图像(Op.1)。候选区域检测单元12从图像中检测针对眼睛的候选区域(Op.2)。

[0093] 提取单元23从候选区域中提取边缘(Op.21)。在对边缘的提取中，执行前述标记处理。识别单元20识别边缘的方向并且从所有候选区域内的边缘的方向中识别主边缘方向(方向X)(Op.22)。

[0094] 接下来，计算单元24将候选区域中的任何候选区域用作要被处理的目标候选区域并且计算在目标候选区域中沿方向X的边缘的边缘密度(Op.23)。确定单元15确定边缘密度是否大于阈值(Op.24)。该阈值为例如0.2。

[0095] 然后，如果边缘密度大于阈值(在Op.24中为是)，则确定单元15确定要被处理的候选区域为眉毛区域并且确定单元15将“0”作为确定结果存储在候选区域信息管理表中(Op.26)。另一方面，如果边缘密度等于或小于阈值(在Op.24中为否)，则确定单元15确定要被处理的候选区域不是眉毛区域并且确定单元15将“1”作为确定结果存储在候选区域信息管理表中(Op.27)。

[0096] 接下来，确定单元15确定是否已经处理了所有候选区域(Op.8)。重复Op.23和Op.24以及Op.6至Op.8，直到处理完所有候选区域为止(在Op.8中为否)。如果已经处理了所有候选区域(在Op.8中为是)，则输出单元16输出处理结果(Op.9)。

[0097] 如上所述，根据第二实施方式的确定设备2基于边缘的方向来计算沿主边缘方向X的边缘的密度。通常，在许多情况下，睫毛被检测为沿竖直方向的边缘，而在许多情况下，眉毛被检测为沿水平方向的边缘。通常，睫毛的数量大于眉毛的数量。确定设备2可以通过使用可能是眉毛的边缘的边缘量(密度)而非仅使用边缘量来确定眼睛和眉毛，从而提高确定的准确度。

[0098] 此外，毫无例外地，确定设备2识别针对每个图像的主边缘方向X，而不将水平方向(例如，图7B所示的方向I)设置为用于计算边缘密度的边缘方向。例如，即使对象倾斜他或她的头或者摄像头倾斜，并且摄像头对对象进行成像，确定设备2也识别在对象被成像的状态下与水平方向对应的方向。因此，即使根据对象的位置与摄像头的位置之间的关系来对倾斜他或她的头的对象进行成像，确定设备2也可以计算沿与原始水平方向对应的方向X的边缘的边缘密度。

[0099] [第三实施方式]

[0100] 第三实施方式包括第二实施方式，并且在第三实施方式中，基于对象与摄像头之间的距离来切换用于要由确定单元做出的确定的逻辑。具体地，如果对象与摄像头之间的距离相对较短，则根据第三实施方式的确定单元执行与第二实施方式所描述的确定处理相同的确定处理。然而，如果对象与摄像头之间的距离相对较长，则根据第三实施方式的确定单元执行下述另一确定处理。

[0101] 图10是根据第三实施方式的确定设备的功能框图。确定设备3包括获取单元11、候选区域检测单元12、提取单元23、识别单元20、距离确定单元30、计算单元34、确定单元35、输出单元16和存储单元37。由与在第一实施方式和第二实施方式中使用的名称和附图标记相同的名称和附图标记来表示具有与包括在根据第一实施方式的确定设备1和根据第二实施方式的确定设备2中的功能相同的功能的处理部并且省略对所述处理部的描述。因此，以下描述距离确定单元30、计算单元34、确定单元35和存储单元37。

[0102] 距离确定单元30获取包括在图像中的对象与摄像头之间的距离并且确定对象与摄像头之间的距离是否小于阈值Th1。然后，距离确定单元30将确定的结果输出至计算单元34。

[0103] 阈值Th1为例如80(cm)。例如，基于预先进行的实验将阈值Th1设置为适当的值。例如，采集当对象与摄像头分离不同距离时所成像的对象的图像，未将眉毛成像为边缘，并且将当将整个眉毛成像为单个低亮度区域时对象与摄像头之间的距离设置为阈值。

[0104] 此外，将传统方法应用于确定对象与摄像头之间的距离的方法。例如，距离确定单元30从图像获取对象的面部的宽度(像素)，参照转换表并且确定距离(cm)。为了距离确定单元30获取面部的宽度，可以测量在检测面部区域的处理中检测到的面部区域的宽度，或者可以将包括针对眼睛的候选区域的高亮度区域(其亮度为例如等于或大于180)估计为面部区域并且可以测量高亮度区域的宽度。

[0105] 图11示出了转换表的数据配置的示例。在转换表中，面部的宽度的范围与距离彼此相关联并且被存储。通过采集通过在对象与摄像头分离不同的距离时对对象成像而获得的图像并且执行学习处理来生成转换表。在图11所示的示例中，例如，如果面部的宽度在50像素至99像素的范围内，则确定对象与摄像头之间的距离为80cm。

[0106] 接下来，如果距离小于阈值Th1，则计算单元34针对每个候选区域计算沿由识别单元20识别的方向X的边缘密度。另一方面，如果距离等于或大于阈值Th1，则计算单元34针对每个候选区域来计算沿与方向X垂直的方向Y的边缘密度。例如，如果方向X是图7B所示的方向I，则方向Y是方向V。因此，计算单元34计算沿方向V的边缘的边缘密度。

[0107] 如果距离小于阈值Th1，则确定单元35以与第二实施方式相同的方式将在第二实施方式中描述的阈值(在下文中称为阈值Th2)与沿方向X的边缘密度进行比较。如果边缘密度大于阈值Th2，则确定单元35确定对应的候选区域为眉毛区域。另一方面，如果距离等于或长于阈值Th1，则确定单元35将阈值Th3与沿方向Y的边缘密度进行比较。如果边缘密度小于阈值Th3，则确定单元35确定对应的候选区域为眉毛区域。例如，与第二实施方式相似，阈值Th2为0.2。例如，阈值Th3为0.1。阈值Th3是通过预先执行学习而确定并且适于区分眼睛和眉毛的值。

[0108] 例如，如果对象相对远离摄像头，则对象的眉毛不表现为图像中的边缘。换言之，整个眉毛可能表现为单个低亮度区域。因此，在与眉毛对应的候选区域中，眉毛的轮廓仍然为边缘。在与眼睛对应的候选区域中，眼睛的轮廓以及眼睛的白色部分与眼睛的黑色部分之间的边界仍然为边缘。在这种情况下，在对象面向摄像头的状态下，眉毛的轮廓的边缘和眼睛的轮廓的边缘被估计为沿水平方向的边缘而眼睛的白色部分与眼睛的黑色部分之间的边界的边缘被估计为沿竖直方向的边缘。

[0109] 因此，根据第三实施方式的确定设备3使用沿与主方向X(例如，方向I)垂直的方向Y(例如，方向V)的边缘的边缘密度来确定眼睛和眉毛。具体地，估计出在与眼睛对应的候选区域中沿竖直方向Y的边缘密度较大并且估计出在与眉毛对应的候选区域中沿竖直方向Y的边缘密度较小。因此，确定单元35确定其中边缘密度小于阈值Th3的候选区域与眉毛对应。

[0110] 如第一实施方式和第二实施方式相似，存储单元37存储候选区域信息管理表、边缘方向管理表以及要用于各种处理的阈值的信息，并且存储转换表(图11所示)。

[0111] 图12是根据第三实施方式的确定处理的流程图。由与在第一实施方式和第二实施方式中使用的附图标记相同的附图标记来指示与包括在根据第一实施方式和第二实施方式的确定处理中的处理相同的处理并且简化对所述处理的描述。首先，获取单元11从摄像头获取要被处理的图像(Op.1)。候选区域检测单元12从图像中检测针对眼睛的候选区域(Op.2)。

[0112] 提取单元23从候选区域中提取边缘(Op.21)。识别单元20识别边缘的方向并且从所有候选区域内的边缘的方向中识别主边缘方向(方向X)(Op.22)。

[0113] 接下来，例如，距离确定单元30使用转换表来获取对象与摄像头之间的距离(Op.30)。然后，距离确定单元30确定该距离是否短于阈值Th1(Op.31)。

[0114] 如果距离短于阈值Th1(在Op.31中为是)，则计算单元34将候选区域中的任何候选区域用作要被处理的目标候选区域并且计算在目标候选区域中沿方向X的边缘的边缘密度(Op.23)。确定单元35确定边缘密度是否大于阈值Th2(Op.24)。

[0115] 如果边缘密度大于阈值Th2(在Op.24中为是)，则确定单元35确定要被处理的候选区域为眉毛区域并且确定单元35将“0”作为确定结果存储在候选区域信息管理表中(Op.6)。另一方面，如果边缘密度等于或小于阈值Th2(在Op.24中为否)，则确定单元35确定要被处理的候选区域不是眉毛区域并且确定单元35将“1”作为确定结果存储在候选区域信息管理表中(Op.7)。

[0116] 接下来，确定单元35确定是否已经处理了所有候选区域(Op.8)。重复Op.23、Op.24和Op.6至Op.8的处理，直到处理完所有候选区域为止(Op.8中为否)。

[0117] 另一方面，如果距离等于或长于阈值Th1(在Op.31中为否)，则计算单元34将候选区域中的任何候选区域用作要被处理的目标候选区域并且计算在目标候选区域中沿与方向X垂直的方向Y的边缘的边缘密度(Op.32)。确定单元35确定边缘密度是否小于阈值Th3(Op.33)。

[0118] 如果边缘密度小于阈值Th3(在Op.33中为是)，则确定单元35确定要被处理的候选区域为眉毛区域并且确定单元35将“0”作为确定结果存储在候选区域信息管理表中(Op.34)。另一方面，如果边缘密度等于或大于阈值Th3(在Op.33中为否)，则确定单元35确定要被处理的候选区域不是眉毛区域并且确定单元35将“1”作为确定结果存储在候选区域信息管理表中(Op.35)。

[0119] 接下来，确定单元35确定是否已经处理了所有候选区域(Op.36)。重复Op.32至Op.36的处理，直到处理完所有候选区域为止(在Op.36中为否)。

[0120] 如果已经处理了所有候选区域(在Op.8中为是)或者如果已经处理了所有候选区域(在Op.36中为是)，则输出单元16输出处理结果(Op.9)。

[0121] 如上所述，根据第三实施方式的确定设备3通过基于对象与摄像头之间的距离来切换两种类型的确定方法，从而提高确定眼睛和眉毛的准确度。

[0122] [与传统技术相比较的效果]

[0123] 以下描述根据第一实施方式至第三实施方式的确定设备与根据专利文献1的传统技术之间的差异。图13A和图13B是描述传统技术具有的问题的图。

[0124] 如图13A所示，在专利文献1所公开的传统技术中，在包括面部的图像200中按顺序设置预定尺寸的矩形区域201。然后，针对矩形区域201中的每个矩形区域内的像素生成亮度直方图。直方图指示针对图像中的水平位置的其亮度低于预定值的像素(低亮度像素)的像素数量分布。

[0125] 例如，当面部如图像200所指示的那样未倾斜时，围绕眉毛设置的矩形区域202的直方图指示出在矩形区域202中整个水平位置的低亮度像素的数量较大。围绕眼睛设置的矩形区域203的直方图指示出在矩形区域203中沿水平方向被定位在中心周围(或者在眼睛的黑色部分的周围)的低亮度像素的数量较大。传统技术使用矩形区域202的直方图中的宽峰与矩形区域203的直方图中的窄峰之间的差异来确定眼睛和眉毛。

[0126] 如图13B所示，然而，如果对象的面部倾斜，则难以设置适当地包括眉毛和眼睛的矩形区域。这是由于矩形区域211是沿水平方向在图像中按顺序设置的事实。例如，认为矩形区域211被设置的方向是不同于水平方向的倾斜方向或者认为以各种角度设置矩形区域211。在这些情况下设置矩形区域211增大了处理负担并且是不切实际的。

[0127] 因此，与图13A所示的矩形区域202和203的直方图不同，在图13B所示的状态下矩形区域212和213的直方图不具有使眼睛和眉毛能够彼此区分的特征。具体地，在传统技术中，当面部倾斜时，难以确定眼睛和眉毛。

[0128] 另一方面，根据第一实施方式至第三实施方式的确定方法被执行为提取具有眼睛的特征信息的候选区域并且基于候选区域的高频分量的量(密度)来确定与眼睛对应的候选区域以及与眉毛对应的候选区域。

[0129] 图14A和图14B示出了当面部倾斜时面部的图像和提取边缘的结果。图14A示出了在面部倾斜的状态下获取的图像的一部分(面部图像120)。图14A示出了作为执行从面部图像120提取具有眼睛的特征信息的候选区域的处理的结果的候选区域121至124。与图3A相似，候选区域被设置的方向(矩形的长边被设置的方向)是图像的水平方向。为了简化与图3A和图3B的比较，图14A将通过倾斜图3A所示的面部图像100而获得的图像示出为面部图像
120。因此，在当面部被倾斜并且被成像时获得的原始面部图像中，与面部的各部位对应的图像存在于面部图像120的左上和右下白色区域中。

[0130] 图14B示出了边缘图像130，该边缘图像130是从面部图像120的候选区域121至124提取边缘作为高频分量的结果。在边缘图像130中设置的候选区域131至134分别与面部图像120的候选区域121至124对应。

[0131] 如在图14B所示的候选区域131至134所指示，在在候选区域121至124中并且与眉毛对应的候选区域中的高频分量(边缘)的密度较高，而在在候选区域121至124中并且与眼睛对应的候选区域中的高频分量(边缘)的密度较低。因此，在根据第一实施方式至第三实施方式的确定方法中，可以在不基于面部的倾斜度的情况下确定眼睛和眉毛。

[0132] [确定设备的应用示例]

[0133] 确定设备1至确定设备3中的每个确定设备可以应用为凝视检测系统的一部分。例如，凝视检测系统从确定设备1至确定设备3接收输入并且从眼睛区域检测瞳孔和角膜反射区。然后，凝视检测系统基于瞳孔的位置和角膜反射区的位置来检测凝视信息(对象的凝视的位置和方向)。

[0134] 例如，将凝视信息用于驾驶员的安全驾驶支持以及用于在商店中进行销售。通过分析凝视信息，对驾驶员是否注意各个方向以及对顾客所注意的产品进行估计。

[0135] [硬件配置的示例]

[0136] 描述确定设备1至确定设备3的硬件配置的示例。以下描述将确定设备1至确定设备3中的每个确定设备应用为凝视系统的一部分的示例，但确定设备1至确定设备3不限于此。

[0137] 图15示出了确定设备中的每个确定设备的硬件配置。图15示出了整个凝视检测系统10的硬件配置的示例。具体地，如果确定设备1至确定设备3中的每个确定设备独立地起作用，则凝视检测系统10包括由实线指示的硬件部件。另一方面，如果确定设备1至确定设备3中的每个确定设备作用为凝视检测系统10的一部分，则凝视检测系统10包括由实线指示的硬件部件和由虚线指示的硬件部件。

[0138] 凝视检测系统10中所包括的确定设备1至确定设备3中的每个确定设备包括处理器1001、只读存储器(ROM)1002、随机存取存储器(RAM)1003、硬盘驱动(HDD)1004、通信设备1005、输入设备1008、显示设备1009以及媒体读取设备1010作为硬件部件。此外，凝视检测系统10包括接口电路1012、光源1006和摄像头1007

[0139] 处理器1001、ROM 1002、RAM 1003、HDD 1004、通信设备1005、输入设备1008、显示设备1009、媒体读取设备1010和接口电路1012经由总线1011彼此连接并且能够在处理器1001的控制下在处理器1001、ROM 1002、RAM 1003、HDD 1004、通信设备1005、输入设备
1008、显示设备1009、媒体读取设备1010和接口电路1012之间发送和接收数据。

[0140] 将用于根据第一实施方式至第三实施方式的确定处理的程序以及用于凝视检测处理的程序存储在能够由确定设备1至确定设备3或凝视检测系统10读取的记录介质中。记录介质的示例为磁记录设备、光盘、磁光记录介质和半导体存储器。

[0141] 磁记录设备的示例是HDD、软盘(FD)和磁带(MT)。光盘的示例为数字通用光盘(DVD)、DVD-RAM、致密盘只读存储器(CD-ROM)和可记录/可重写致密盘(CD-R/RW)。磁光记录介质的示例为磁光盘(MO)。半导体存储器的示例为ROM、RAM、静态随机存取存储器(静态RAM)和固态驱动(SSD)。

[0142] 例如，如果其中描述根据实施方式的处理的程序是分布式的，则认为作为DVD、CD-ROM等并且其中记录了程序的便携式记录介质是市售的。介质读取设备1010从已记录有程序的记录介质读取程序。处理器1001将读取的程序存储在HDD 1004、ROM 1002或RAM 1003中。

[0143] 处理器1001控制整个确定设备1至确定设备3的操作。例如，处理器1001包括诸如中央处理单元(CPU)的电子电路。

[0144] 处理器1001从存储程序的记录介质(例如，HDD 1004)读取已描述了根据实施方式的处理的程序，并且执行该程序，从而用作确定设备1至确定设备3中的每个确定设备的候选区域检测单元12、确定设备1至确定设备3中的每个确定设备的提取单元13(23)、确定设备1至确定设备3中的每个确定设备的计算单元14(24，34)、确定设备1至确定设备3中的每个确定设备的确定单元15(35)、确定设备2和确定设备3中的每个确定设备的识别单元20以及确定设备3的距离确定单元30。处理器1001可以将从记录介质读取的程序加载至RAM 1003中并且执行加载在RAM 1003中的程序。

[0145] 通信设备1005作用为受处理器1001控制的获取单元11。HDD 1004存储各种类型的信息并且作用为受处理器1004控制的存储单元17(27，37)。可以将各种类型的信息存储在能够由处理器访问的ROM 1002或RAM 1003中。此外，将在处理期间临时生成并且被保存的各种类型的信息存储在例如RAM 1003中。

[0146] 输入设备1008接收各种类型的输入。例如，输入设备1008是键盘或鼠标。显示设备1009显示各种类型的信息。例如，显示设备1009是显示器。

[0147] 在前述方式下，由包括处理器1001和存储器(HDD 1004、ROM 1002和RAM 1003)中的任何存储器的硬件来实现图1、图6和图10所示的各种功能部。通过使处理器1001读取存储在存储器中的任何存储器中的程序并且执行该程序来执行图5、图9和图12所示的确定处理。

[0148] 在某情况下，在云中执行根据实施方式的处理。在这种情况下，将光源1006和摄像头1007布置在对象存在的空间中。从摄像头1007接收图像的确定设备1至确定设备3(一个或更多个服务器)执行图5、图9和图12所示的确定处理。

[0149] 附图标记列表

[0150] 1，2，3 确定设备

[0151] 11 获取单元

[0152] 12 候选区域检测单元

[0153] 13，23 提取单元

[0154] 14，24，34 计算单元

[0155] 15，35 确定单元

[0156] 16 输出单元

[0157] 17，27，37 存储单元

[0158] 20 识别单元

[0159] 30 距离确定单元

[0160] 10 凝视检测系统

[0161] 1001 处理器

[0162] 1002 ROM

[0163] 1003 RAM

[0164] 1004 HDD

[0165] 1005 通信设备

[0166] 1006 光源

[0167] 1007 摄像头

[0168] 1008 输入设备

[0169] 1009 显示设备

[0170] 1010 媒体读取设备

[0171] 1011 总线

[0172] 1012 接口电路