[0001] 本发明涉及数字影像处理技术。

[0002] 当前，随着对数字影像处理装置的关注和普及扩大，自动白平衡(Auto White Balance，AWB)功能已用于处理数字影像信号。自动白平衡是表示在受像白颜色时，为使亮度高的部分或暗的部分的色温保持恒定，即为达到电的无彩色而自动地调整红色(R)、绿色(G)、蓝色(B)的增益(gain)。为了实现这种自动白平衡功能，提出了多种方法，其中一个是将通过电荷耦合器件(Charge Coupled Device，CCD)输入的影像信号对完成自动曝光(Auto Exposure，自动曝光)处理的整个画面进行积分来执行自动白平衡的方法。

[0003] 对以往的自动白平衡处理方法进行更为详细的说明，通过镜头输入的被拍摄体的光学影像信号将通过CCD得到光电转换。光电转换的影像信号在动态随机存取存储器(DRAM)等的存储器中以一个画面单位，即以帧为单位进行存储。以往的自动白平衡方法利用了对作为CCD输入值的整个画面进行积分来得到无彩色的原理，此时，对于色温的色坐标系使用R/G、B/G坐标系。为了决定色温色的区域，对整个画面进行积分，非常亮的部分和非常暗的部分将使整个画面饱和或失真，因此将其除外。

[0004] 马赛克式CCD中能够显示一个颜色的单位为2×2像素大小。因此，对于存储器中存储的影像信号的一整个画面，以2×2像素大小作为基本单位对该值进行积分，其中对于非常亮的部分和非常暗的部分执行剪裁(clipping)而将其除外，只对有效的部分计算增益。接着，将整个画面用规定的像素大小的块(block)单位划分，对整体块检测光源。对于检测出的光源执行自动白平衡处理，并将此时求出的自动白平衡增益适用于整个画面。

[0005] 当前数字影像处理装置以量产时适用的自动白平衡参数作为基准适用自动白平衡算法，在全世界任何地方都以相同的方式执行自动白平衡。即，不利用拍摄影像的场所及时间信息，而是利用各公司规定的标准场景和标准图表使自动白平衡性能最优化。但是，由于不同地区及不同时间的色温不同，即便拍摄在认知色感方面相同的被拍摄体，根据拍摄的场所及时间，在相片上表现出的颜色将会不同。但是，利用目前的数码相机在各公司支持的标准场景和标准图表以外的场所拍摄影像时，较难获得该场所及时间上的最优化的自动白平衡性能。

[0028] 本发明公开了用于调整自动白平衡的技术、系统及装置。

[0029] 图1是表示本发明一实施例的影像处理装置的方框结构图。参照图1，本实施例的影像处理装置包括图像传感器1100、图像信号处理装置1000、输出部1200及控制部1300。

[0030] 图像传感器1100执行如下功能：捕捉被拍摄体并输出与被拍摄体对应的模拟图像信号，图像信号处理装置1000包括A/D转换器(未图示)、伽马修正部(未图示)及自动白平衡调整装置100等，通过对模拟图像信号进行数字化、信号失真补偿，以及根据光源进行自动白平衡调整等，图像信号处理装置1000生成用于输出被捕捉图像的视频影像信号。图像信号处理装置1000内的自动白平衡调整装置100解决由周边环境使画面的颜色变化抖动的问题，更为准确地表现色感，区分室外和室内处理来进行白平衡以减少误差率，从而更加灵活地执行自动白平衡，对于自动白平衡调整装置100将在图2及图3的说明部分中更为详细地进行描述。

[0031] 输出部1200从图像信号处理装置1000接收上述视频影像信号，并输出至显示装置(图中未示出)，控制部1300整体上控制图像传感器1100、图像信号处理装置1000及输出部1200。此外，虽未在图1中表示，本发明的影像处理装置中当然可以包括存储图像信号处理所需的多种数据的存储装置。

[0032] 为了根据周边环境灵活地调整自动白平衡，自动白平衡调整装置100通过映射切换能够利用最多16个光源箱，因而减少光源和光源之间的偏差，解决画面的颜色变化大幅抖动的问题，由此，提高图像传感器1100的质量，并且，光源箱变得更小且更密集地配置，降低不属于相应光源的颜色进入的概率，从而更为准确地表现色感。

[0033] 图2及图3更详细地表示本发明实施例的图1的影像处理装置内的自动白平衡调整装置100的方框结构图。参照图2，本实施例的自动白平衡调整装置100包括映射设置部110、像素计数部120、光源选择部130及平衡增益(balance gain)适用部140。映射设置部110对于利用8个寄存器构成的光源箱，通过切换映射的方式，执行对光源箱通过映射进行设置的功能。即，以往是利用8个寄存器，在一个帧中设置8个与光源箱对应的映射，对于这种映射设置的各个帧追踪光源，而在本实施例中，使用最大数量为至少M倍寄存器数量的光源箱，其中M为2以上的整数，例如，利用8个寄存器在某一个帧中映射最多8个光源箱，并在下一个帧中再映射最多8个光源箱，通过以映射切换(map-switching)来同时利用两个帧的16个光源箱的方法，利用现有的光源箱的个数的最大2倍，即利用最多16个光源箱追踪光源。对于该映射设置的内容将通过图4更为详细地进行说明。根据本实施例，可在寄存器个数的至少2倍(例如3倍、4倍等)数量的光源箱执行上述映射设置。

[0034] 像素计数部120对已进行映射设置的各个光源箱内的基准影像的白像素(white pixel)的个数进行计数，用临时存储装置存储计数的个数，查找白像素的个数最多的最大光源箱。并且，像素计数部120还起到根据白像素的个数对光源箱进行排序(sorting)的功能。其中，白像素从利用室外及室内中拍摄的多个灰色图表(Gray chart)或麦克贝斯图表(Macbeth chart)的基准影像中提取，上述基准影像优选地由从灰色图表的各补片(patch)区域中白像素的个数充分地包含的颜色信息构成，并且，该基准影像的白像素的计数优选地通过对麦克贝斯图表的灰色补片部分的像素进行计数而进行。

[0035] 此外，为了准确地计数基准影像的白像素，优选地使用只经过镜头阴影(Lens Shading)修正后的影像来执行映射设置。其中，镜头阴影修正是为了消除根据镜头的大小，镜头周边部的亮度比其中央部的亮度减小的现象而执行的修正。

[0036] 光源选择部130以像素计数部120计数的白像素的个数为最大的最大光源箱为基础，选择相应光源。即，光源箱通过前面的映射设置部110，按照具有多光源对色灯箱(light booth)中规定的色温的水平(Horizon)、A、TL84、CWF、荧光灯(Fluorescent)、日光等相应的试验光源进行映射设置。由此，当查找出白像素的个数为最大的最大光源箱时，将与该最大光源箱对应的试验光源选择作为当前影像的光源。

[0037] 平衡增益适用部140在光源选择部130选择光源后，基于最大光源箱的映射值计算出红色增益(red gain(R_gain))及蓝色增益(blue gain(B_gain))。其中，计算出的红色增益或蓝色增益是利用最大光源箱的映射值对基准影像的红色及蓝色的色值进行修正的新的修正影像的红色增益及蓝色增益。该红色增益及蓝色增益的修正是在以R/G及B/G为轴的与色温对应的色坐标系上，将属于相应光源箱的白像素向色坐标系上的中心部分移动的概念。这可以通过参照图6～图9来容易理解。

[0038] 红色增益或蓝色增益的调整基本上基于“基准影像的R及G的色值×映射值＝修正影像的R及B增益”的概念计算得出，即，用数学式表达的话，可以展开成数学式(1)，数学式(1)可以再一般化为数学式(2)。

[0039] R_gain＝Gsumreg[BoxMax]/Rsumreg[BoxMax]*1024

[0040] B_gain＝Gsumreg[BoxMax]/Bsumreg[BoxMax]*1024..............数学式(1)[0041] R_gain＝128/(Rsumreg[BoxMax]/Gsumreg[BoxMax])*1024

[0042] B_gain＝128/(Bsumreg[BoxMax]/Gsumreg[BoxMax])*1024.........数学式(2)[0043] 其中，在数学式(1)和(2)中，Gsumreg[BoxMax]表示最大光源箱内的绿色(green)色值的总和，Rsumreg[BoxMax]表示最大光源箱内的红色色值的总和，Bsumreg[BoxMax]表示最大光源箱内的蓝色色值的总和。此外，1024是理论上的10位映射值，128是0～256色域的中间值。由此，当通过数学式(2)调整红色及蓝色的增益时，属于相应光源箱的白像素将在以R/G及B/G为轴的色坐标系上向中心部分移动，通过这种增益的调整，将白像素向色坐标系上的中心部分移动，其表示准确地对准与当前的光源对应的白平衡。

[0044] 参照图3，本实施例的自动白平衡调整装置100a具有与图2的自动白平衡调整装置100相类似的结构，但是自动白平衡调整装置100a还包括在光源选择部130后端用于补偿光源的误检测的防御代码部150，从而代替图2中的平衡增益适用部140，自动白平衡调整装置100a还包括自动白平衡调整部160，该自动白平衡调整部160选择性地使用平衡增益适用部140和固定自动白平衡提取部145。

[0045] 防御代码部150首先将自动曝光(Auto Exposure，AE)时间，即快门时间间隔(int_time)与规定阈值(threshold)进行比较，判断是室外环境还是室内环境。即，自动曝光时间在室外环境中更短是显而易见的，因此，如果自动曝光时间小于规定阈值，则判断为室外环境，如果大于规定阈值，则判断为室内环境。例如，将阈值设定为200，即相当于水平同步(Hsync)线200个的时间，如果自动曝光时间小于200时，则判断为室外环境，如果大于或等于200，则判断为室内环境。

[0046] 此外，防御代码部150在判断为室内环境的情况下，还将再判断光源是否是日光，这是为了在判断为室内环境的情况下，如果光源是日光，将适用与室外环境对应的自动白平衡，判断光源是否是日光，可以通过判断光源选择部130选择的最大光源箱是否是色坐标系上位于最下部的光源箱来决定。

[0047] 在防御代码部150判断周边环境后，自动白平衡调整部160根据周边环境调整自动白平衡。自动白平衡调整部160包括平衡增益适用部140及固定自动白平衡提取部145，当判断为室内环境且不是日光的环境时，如图2的说明，在平衡增益适用部140以最大光源箱的映射值为基础计算出红色增益和蓝色增益来调整自动白平衡。此外，如果是室外环境或光源为日光，通过固定自动白平衡提取部145在作为根据各光源在以往已提取出的固定值的自动白平衡的规定范围内，手动调整上述红色增益或蓝色增益来调整自动白平衡。

[0048] 作为参考，室内及室外环境的区分的意义在于适应普通用户的喜好，当需要在已提取出的自动白平衡值中增强蓝色增益值，以整体上拓宽显示，或是为了强调人物而需要增强红色增益值时，可以手动(manually)调整增益来使用，在此情况下，需要以室外环境测试中准确计算出的固定自动白平衡值为基础，对于目标影像在未超出太多固定自动白平衡值的范围内，将红色或蓝色的增益值手动向上调整，这种方式被定义为预定义(predefined)方式。

[0049] 对于室内环境，可以使用本发明的自动白平衡调整装置100a的平衡增益适用部140，通过数学式(2)计算出红色增益及蓝色增益来调整自动白平衡的方法，这种方式被定义为非预定义(Non-predefined)方式。

[0050] 此外，即便是在室内环境，在与太阳光照射量较多的靠窗地点，防御代码部150可以判断为室外光源而不是判断为室内，并使用预定义方式，同样地，即便是在室外环境，在亮度不充足或靠窗但没有足够的太阳光的场所，防御代码部150可以判断为室内光源，并使用非预定义方式。即，通过判断环境并选择性使用预定义方式或非预定义方式称为部分-预定义(Partial-predefined)方式。

[0051] 基于如上的定义对前面的自动白平衡调整部160的作用再进行说明，如果防御代码部150判断为室外环境或光源为日光，通过预定义方式调整自动白平衡，如果防御代码部150判断为室内环境且不是日光，通过非预定义方式调整自动白平衡。本实施例的自动白平衡调整装置100a通过防御代码部150判断周边环境，并据此选择性地使用预定义方式和非预定义方式，因此，可以说是整体上采用部分-预定义方式。并且，在本发明的部分-预定义方式中，如前所述，无需准确地区分室外环境和室内环境，而是根据需要适当地选择使用预定义方式和非预定义方式。

[0052] 本实施例的自动白平衡调整装置100a通过映射切换使用最多16个光源箱，减少光源和光源之间的偏差，解决画面的颜色变化大幅抖动的问题，由此，提高图像传感器1100的质量。并且，随着光源箱的个数增加，光源箱变得更小且更密集地配置，降低不属于相应光源的颜色进入的概率，从而更为准确地表现色感。

[0053] 此外，本实施例的自动白平衡调整装置100a通过基于防御代码部150判断周边环境类型而采用预定义方式或非预定义方式来调整自动白平衡，减少太阳光和室内光混合出现的环境等多重光源环境中误检测光源的可能性，极大地表现对于周边环境的平衡色感，并且，色感中适用增益(gain)以符合用户及开发者的喜好，从而更加灵活地执行自动白平衡。

[0054] 图4是表示本发明一实施例在色坐标系内排列光源箱的情况的图，其中，x轴表示蓝色相对绿色的相对的色坐标(B/G)，y轴表示红色相对绿色的相对的色坐标(R/G)。

[0055] 在本实施例的自动白平衡调整装置中，映射设置部110通过映射切换方式在2个帧对于数量为寄存器数量2倍的光源箱执行映射设置。该映射设置过程通过在多光源对色灯箱内只激活镜头阴影功能的状态下，将灰色图表最大程度地填充画面，通过映射切换方式将最多16个光源箱按照水平(Horizon)、A、TL84、CWF、荧光灯及日光等的试验光源依次排列来进行。

[0056] 此时，各个光源箱A在色坐标系内呈10×10大小，将余下光源箱依次排列，并避免试验光源之间生成空白空间。当判断依次排列的光源箱充分地填充在相应光源和光源之间时，可以不使用余下的光源箱。以往，由于使用8个寄存器，因而只能设置最多8个光源箱，因此，无法充分地填充试验光源之间的空间，如果设置的光源箱之间存在最大数量的白像素，将通过附近的光源箱的映射值计算出红色增益和蓝色增益，存在无法获得准确的平衡增益的问题。

[0057] 但是在本发明中，由于可以通过映射切换方式使用最多16个光源箱，由此能够配置光源箱以充分地填充试验光源之间的空间。此外，如前所述，无需使用全部16个光源箱，当判断为已充分地填充相应光源和光源之间的空间时，也可以无需使用余下的光源箱，图4中图示出配置有13个光源箱A。此外，余下光源箱可用于进行低照度及皮肤影调(skin tone)修正，例如，优选地，10个光源箱用于映射，其余6个光源箱用于低照度及皮肤影调修正。图4中，中心部分的方形B是当前光源的白像素应所处的色坐标区域，其是属于最大光源箱的白像素通过平衡增益，即红色增益及蓝色增益修正而要移动到的区域。

[0058] 图5是表示本发明一实施例的自动白平衡装置100或100a内的映射设置部110及像素计数部120的动作的概念图。以往是映射设置利用8个寄存器，对应每个帧只能进行针对8个光源箱的设置。即，8个寄存器中将设置与各光源箱对应的位置信息。但是在本发明中，映射设置部110利用8个寄存器，首先对第N-1帧C1进行8个光源箱的设置，对于已设置的光源箱，像素计数部120利用临时存储部(未图示)以软件方式计数白像素并存储。接着，对第N帧C2再利用8个寄存器进行另外8个光源箱的设置，像素计数部120对于已设置的光源箱计数白像素并存储。

[0059] 通过如上所述的映射切换动作，映射设置部110可以对最多16个光源箱进行映射设置，像素计数部120可以对最多16个光源箱计数白像素的个数。并且，像素计数部120根据临时存储部(未图示)中存储的每个光源箱中白像素的个数，提取出白像素的个数为最大的最大光源箱，根据白像素的个数排序光源箱。例如，根据每个光源箱中包含的白像素的个数，将光源箱按升序或降序排列。此外，由于第N-1帧C1中设置的光源箱和第N帧C2中设置的光源箱的位置不同，因而帧之间需要对准垂直-同步(Vsync：D)。

[0060] 当通过像素计数部120提取出最大光源箱(即，白像素个数最多的光源箱)时，根据最大光源箱的映射值，通过数学式(2)计算出红色增益及蓝色增益，计算出的红色增益及蓝色增益将被适用于第N+1帧C3。随后，第N+1帧C3将用于下一映射设置，由此计算出的红色增益及蓝色增益将适用于下一第N+2帧(图中未示出)，以此映射设置部110及像素计数部120继续进行动作。

[0061] 现有技术中，上述映射设置过程及像素计数过程完全依赖于分配给初始设定的映射设置的寄存器个数。但是根据本实施例，通过映射切换方法，根据需要可以使用被分配的寄存器个数的至少2倍数的最多光源箱(即，16个光源箱)。此外，本发明中根据需要可以通过映射切换方法，能够在比寄存器个数更多的(例如对3倍以上)的光源箱进行映射设置。例如可在24、32、40、48等的光源箱执行映射设置。

[0062] 图6是表示本发明一实施例的自动白平衡未得到修正的情况下的色点的位置的光坐标系的图，图7是表示与图6的各色点对应的显色性(color rendition)图表的图。

[0063] 图6表示通过映射设置部110及像素计数部120检测出的11个光源箱A中具有最大数量白像素的第10个光源箱A1为最大光源箱。其中，P指的是包含第10个光源箱A1内存在的白像素的色点。

[0064] 图7中图示出如图6所示的在第10个光源箱A1内存在最大数量的白像素的情况下的显色性图表的照片，可以确认其显示的颜色整体上倾向于蓝色系统。

[0065] 图8是表示本发明另一实施例的自动白平衡得到修正的情况下的色点的位置的光坐标系的图，图9是表示本发明另一实施例的与图8的各色点对应的显色性(color rendition)图表的照片。

[0066] 图8中图示出通过数学式(2)计算出红色增益及蓝色增益来修正自动白平衡后，包含白像素的色点P’向中心部分的方形B移动的状态，图9表示该自动白平衡修正后的显色性图表的照片。如图7和图8所示，可以确认其相比图7更为鲜明地显示出颜色。

[0067] 图10是表示本发明一实施例的自动白平衡调整方法的流程图，为了便于理解，将参照图2进行说明。

[0068] 参照图10，根据本实施例的自动白平衡调整方法，首先，映射设置部110通过映射切换，对相当于已设定的寄存器的数量的2倍的光源箱执行映射设置(S110)，有关基于映射切换的映射设置在图5中已经做过详细说明，在此将省去与之对应的说明。接着，通过像素计数部120对属于已设置的各个光源箱内的白像素的个数进行计数(S120)。随后，光源选择部130基于白像素的个数为最大的最大光源箱，选择当前的光源(S130)。当提取出最大光源箱时，基于最大光源箱的映射值，平衡增益适用部140通过数学式(2)计算出红色增益及蓝色增益并调整自动白平衡(S140)。

[0069] 图11是表示本发明又一实施例的自动白平衡调整方法的流程图。为了便于理解，将参照图3进行说明。

[0070] 参照图11，本实施例的自动白平衡调整方法的，与前面图10中的自动白平衡调整方法相同，即，执行映射设置(S210)，对属于已设置的各个光源箱内的白像素的个数进行计数(S220)，基于最大光源箱选择当前的光源(S230)。接着，通过防御代码部150判断周边环境(S240)，通过防御代码部150的对周边环境的判断在图3中已详细说明，在此将省去与之对应的说明。在判断周边环境后，自动白平衡调整部160根据判断的周边环境执行自动白平衡调整(S250)，周边环境判断过程(S240)和自动白平衡调整过程(S250)将在以下的图12中更为详细地进行说明。

[0071] 图12是本发明一实施例的更详细地表示图11的拍摄环境判断步骤(S240)和自动白平衡调整步骤(S250)的流程图。参照图12，在选择光源后(S230)，防御代码部150首先判断是室外环境还是室内环境(S242)，有关室外环境和室内环境的判断，参照图3所述，防御代码部150将自动曝光时间，即快门时间间隔与规定阈值进行比较，并判断是室外环境还是室内环境。例如，将阈值设定为200，即相当于水平同步线200个的时间，如果自动曝光时间小于200时，则防御代码部150判断为室外环境，如果大于或等于200，则防御代码部150判断为室内环境。

[0072] 在防御代码部150判断室内外环境后，如果是室外环境，通过前面定义的预定义方式调整红色增益及蓝色增益(S252a)。此外，如果是室内环境，防御代码部150再判断光源是否是日光(S244)。判断光源是否是日光，可以通过判断光源选择部130选择的最大光源箱是否是色坐标系上位于最下部的光源箱来决定。如果光源是日光光源，再通过预定义方式调整红色增益及蓝色增益(S252a)。此外，如果光源不是日光光源，通过非预定义方式，即通过数学式(2)计算出红色增益及蓝色增益(S252b)。根据周边环境执行红色增益及蓝色增益计算后，将其适用于相应帧并执行自动白平衡调整(S254)。

[0073] 如图12所示，本实施例的自动白平衡调整方法通过防御代码部150，使用根据周边环境选择性地适用预定义方式或非预定义方式的部分-预定义方式。此外，如前所述，即使是室内环境内，在与太阳光照射量较多的靠窗地点，防御代码部150可以判断为室外光源而不是判断为室内，并使用预定义方式，同样地，即使是室外环境，在亮度不充足或靠窗但没有足够的太阳光的场所，可以判断为室内环境并使用非预定义方式。

[0074] 以上参照附图对本发明的实施例进行了说明，但这只是部分示例，在不脱离本发明精神的前提下，本发明所属技术领域的技术人员能够由此进行多种变形及实施等同的其它实施例，因此，本发明的真正的技术保护范围应当由权利要求书的技术思想进行定义。

[0075] 本发明涉及数字影像处理技术。根据用于调整自动白平衡的公开的技术、系统及装置，能够最多使用16个光源箱，因而通过执行映射切换来减少光源之间的偏差，以防止影像发生不稳定的颜色变化。因此，公开的技术、系统及装置能提高影像传感器1100的质量。