[0001] 本发明涉及从面部图像生成肖像画的技术。

[0002] 已知如下技术：基于拍摄面部而获得的图像数据，通过计算机图像处理而自动或者半自动地制作肖像画。例如，在专利文献1中，公开了如下方法：从面部图像提取面部器官(眼睛、鼻子、嘴等)、轮廓、发型等的特征量，基于该特征量，从预先准备的多个肖像画用部件(part)中选择适当的部件而配置，从而制作肖像画。除此之外，还提出了从图像生成肖像画的各种方法，但不论哪种方法在想要使肖像画制作成尽可能与输入图像的面部相似的点上是共同的。但是，忠实地再现了原来的面部的肖像画不一定被用户所喜欢。例如，存在即使对眼睛小而感到自卑的人提示了将眼睛的部件减小的肖像画，也得不到用户的满足的可能性。此外，由于使用了在面部浮肿时拍摄的图像，所以被制作轮廓比原本大的肖像画也不好。相反地，本人认为是魅力点的特征在肖像画中没有反映或者不明显，也违背用户的期待。

[0003] 因此，以往，为了制作用户喜欢的肖像画，在肖像画制作后修正了部件的大小和配置。此外，在专利文献2中，提出了如下方法：自动修正，使得将轮廓或眼睛等的部件的纵横比、面积、角度接近预先准备的理想的值。

[0004] 但是，在肖像画制作后修正部件的方法中，难以以保留了像本人的样子的状态，将用户希望的变更反映到肖像画。这是因为在制作了肖像画的时刻(即，在从面部图像只提取了每个部件的特征的时刻)，几乎失去了表示本人的面部特征的信息。例如，在对肖像画进行了增大眼睛的修正的情况下，由于肖像画的信息量比原来的图像降低(例如，泪袋被消除等)，所以存在眼睛周边的表现变得不像本人的可能性。此外，在对肖像画进行了减小面部的修正的情况下，也由于信息量比原来的图像降低(例如，阴影被消除等)，所以存在脸蛋儿的表现不像本人的可能性。

[0005] 现有技术文献

[0006] 专利文献

[0007] 专利文献1：(日本)特开2004－288082号公报

[0008] 专利文献2：(日本)特开2004－110728号公报

[0039] 本发明涉及基于拍摄面部而获得的面部图像数据，通过计算机图像处理而自动或者半自动地生成肖像画的技术。该技术适合应用于例如在个人计算机、智能手机、平板终端、便携电话、游戏机、其他的电子设备中动作的肖像画制作应用或Avatar制作应用等。

[0040] ＜第一实施方式＞

[0041] (肖像画生成装置的结构)

[0042] 图1是示意性地表示本发明的第一实施方式的肖像画生成装置的结构的框图。

[0043] 作为主要的硬件，肖像画生成装置包括信息处理装置10和摄像装置11和显示装置12和输入装置13。信息处理装置10是具有CPU(中央运算处理装置)、RAM(随机存取存储器(Random Access Memory))、辅助存储装置(例如，闪速存储器、硬盘)等的计算机。在本实施方式中，作为一例，通过在智能手机中安装肖像画制作应用来构成肖像画生成装置。此时，智能手机的内置相机起到摄像装置11的作用，触摸面板显示器起到显示装置12和输入装置13的作用。

[0044] 如图1所示，作为主要的功能，信息处理装置10具有图像取得部100、图像校正部101、肖像画生成部102、装饰处理部103。这些功能通过在信息处理装置10的辅助存储装置中存储的程序加载到RAM中，由CPU执行，从而实现。另外，也可以将这些中的一部分或者全部的功能由ASIC等的电路来构成，也可以在其他的计算机(例如，云服务器)中处理。

[0045] 图像取得部100具有取得成为肖像画的基础的面部图像的数据的功能。面部图像的数据既能够从摄像装置11获取，也可以从信息处理装置10内的辅助存储装置或网络上的数据服务器等取得。

[0046] 图像校正部101具有对面部图像实施校正处理的功能。以后，为了区分校正前和校正后的图像，将校正前的面部图像称为“原面部图像”，将校正后的面部图像称为“校正面部图像”。

[0047] 作为校正处理，若是至少校正或修正面部的一部分的处理，则可以安装任意处理。具体而言，能够例示将皮肤粗糙或斑点/皱纹等去除或变得不明显的美肤校正、变更皮肤的亮度或色调的美白校正、增大或减小眼睛或者设为双眼皮的眼睛校正、减小面部的轮廓的小脸校正、在瞳孔中进入眼神光(Catch light)或者增大瞳孔的瞳孔校正、变更鼻子的大小或高度的鼻子校正、变更嘴唇/牙齿的色调或光泽或者变更嘴的大小的嘴校正、施加腮红/眼影/睫毛膏等的彩妆的化妆处理等。另外，关于这些校正处理，也可以以公知的方法为首，利用各种方法。例如，美肤校正能够通过使用了高斯滤波器的模糊处理等来实现，美白校正能够通过明度或色彩平衡的调整来实现。此外，面部器官(眼睛、鼻子、嘴等)或轮廓的大小变更、变形、移动这样的校正能够通过从面部图像检测多个特征点(面部器官的端点/中心点、轮廓上的点等)，以将各特征点移动到期望的位置的方式来变形图像而实现(例如，参照(日本)特开2011－233073号公报)。此外，关于嘴唇或牙齿的校正，例如能够利用在(日本)特开2012－256130号公报或(日本)特开2012－190287号公报中记载的方法，关于化妆处理，例如能够利用在(日本)特开2012－98808号公报或(日本)特开2012－95730号公报中记载的方法。

[0048] 肖像画生成部102具有从面部图像生成肖像画的功能。在肖像画生成的算法中，大致有对面部图像实施滤波器处理或减色处理等而加工成插图风格的图像的方法、从面部图像提取与面部相关联的特征量并基于该特征量来生成肖像画的方法。可以使用任意方法，但在本实施方式中，采用后者的方法。这是因为能够获得更加适当地反映了校正后的面部的特征的肖像画。肖像画生成部102具有注册有面部器官(眼睛、鼻子、嘴、眉毛等)、轮廓、发型等的部件群的肖像画用部件数据库102a。在该数据库102a中，例如，细长的眼睛、圆的眼睛、鱼糕型的眼睛、单眼皮的眼睛、双眼皮的眼睛……那样，关于一个部位准备有多种部件。

[0049] 装饰处理部103具有对在肖像画生成部102中生成的肖像画，背景的变更、服装的变更、装饰品或兴趣信息的追加等附加各种装饰的功能。

[0050] (肖像画生成装置的动作)

[0051] 参照图2的流程图和图3的图像例，说明肖像画生成装置的肖像画生成处理的流程。

[0052] 首先，用户通过摄像装置11来拍摄对象者(既可以是用户本人，也可以是他人)的面部，或者操作输入装置13而指定在辅助存储装置内或者数据服务器内保存的图像文件(步骤S20)。于是，通过图像取得部100而读入原面部图像的数据(步骤S21)。图3(a)是原面部图像的例。

[0053] 接着，图像校正部101对原面部图像实施预定的校正处理，生成校正面部图像(步骤S22)。这里，作为一例，假设实施稍微减小鼻子的大小的小鼻校正。图3(b)是小鼻校正后的校正面部图像的例。

[0054] 接着，肖像画生成部102从在步骤S22中生成的校正面部图像，提取构成面部的各部位的特征量(步骤S23)。作为部位，例如有面部器官(眼睛、鼻子、嘴、眉毛等)、面部的轮廓、发型等。作为特征量，例如若是HOG或SURF等的形状特征、颜色直方图、浓淡、大小、粗细、间隔等与面部相关联的特征量，则也可以利用任意特征量。并且，肖像画生成部102基于每个部位的特征量，从肖像画用部件数据库102a中选出特征最匹配的部件(步骤S24)，通过将其进行组合而生成肖像画的数据(步骤S25)。图3(c)是使用图3(b)的校正面部图像而生成的肖像画的例。

[0055] 之后，在由装饰处理部103适当地附加了装饰之后(步骤S26)，最终的肖像画显示在显示装置12中(步骤S27)。

[0056] 根据以上叙述的本实施方式的处理，通过对原面部图像实施校正处理，例如能够对对象者感到自卑的部分进行修正，或者强调对象者的面部的特征，所以能够生成符合对象者的喜好的肖像画。并且，由于对原面部图像实施这样的校正处理(而不是对肖像画)，所以能够不会损失与本人的面部特征有关的信息量而进行校正。因此，能够获得以发挥了像本人的样子的状态进行了期望的校正处理的肖像画。

[0057] 另外，在本实施方式中，作为校正处理而例示了小鼻校正，但也可以应用其他的校正处理，除了一种之外也可以应用多种校正处理。此外，虽然在图2的流程中没有明示，但也可以根据需要，将原面部图像或修正面部图像显示在显示装置12中，使用户确认。

[0058] ＜第二实施方式＞

[0059] 在上述第一实施方式中，说明了将预先确定的种类的校正处理应用于原面部图像的结构，但在第二实施方式中，说明用户能够指定自己希望的校正处理的结构。另外，以下，以本实施方式特有的结构以及处理为中心进行说明，关于与前述的实施方式相同的结构以及处理，赋予相同的标号，省略其详细的说明。

[0060] 图4是示意性地表示本发明的第二实施方式的肖像画生成装置的结构的框图。与第一实施方式(图1)的不同点在于，信息处理装置10包括使用户指定对原面部图像实施的校正处理的内容的校正内容指定部104。校正处理的内容是校正处理的种类(也称为校正项目)和其校正量(也称为校正程度)。

[0061] 参照图5的流程图和图6的画面例，说明第二实施方式的肖像画生成处理的流程。

[0062] 与第一实施方式相同地，由图像取得部100读入通过摄像装置11拍摄到的图像或者保存的图像的数据(步骤S20、S21)。被读入的原面部图像如图6(a)所示那样显示在显示装置12中。在图6(a)的例中，在画面内配置有原面部图像的显示区域60、校正面部图像的显示区域61、用于指定校正处理的内容的GUI(图形用户界面(Graphical User Interface))62。

[0063] 用户通过对GUI62进行触摸操作，能够指定希望的校正处理的内容(步骤S50)。具体的操作如下那样进行。首先，用户从GUI62的菜单(面部/眼睛/鼻子/嘴)中选择想要进行校正的部位。例如，若选择“鼻子”，则如图6(b)所示，显示与“鼻子”相关联的校正项目。“小鼻校正”是变更鼻子整体的大小的校正处理，“高光(Highlights)校正”是通过调整鼻梁的部分的明度而使得将鼻子看起来高的校正处理。若用户勾选希望的校正项目，则如图6(c)所示，显示用于输入校正程度的滑动器。若使滑动器左右移动，则能够调整校正程度。在图6(c)的例中，将滑动器越向右移动则校正程度越大，即从原面部图像的变化越大。

[0064] 若用户操作GUI62，则响应于此，图像校正部101对原面部图像应用所指定的内容的校正处理，生成校正面部图像(步骤S51)。被生成的校正面部图像如图6(c)所示那样显示在显示区域61中。用户通过对比着看在显示区域60和61中分别显示的校正前和校正后的图像，能够容易确认是否获得了如自己的希望的校正。在与希望不同的情况下，重新输入校正项目或校正程度，进行校正的微调即可(步骤S52；否)。

[0065] 若在获得了如希望的校正面部图像之后，用户触摸“肖像画生成”按钮(步骤S52；是)，则肖像画生成部102使用校正面部图像而生成肖像画(步骤S23～S25)。以后的处理与第一实施方式相同。

[0066] 根据以上叙述的本实施方式的处理，能够获得与第一实施方式相同的作用效果。除此之外，根据本实施方式，由于能够使用户指定校正处理的内容，所以具有能够提供符合用户本人的希望的肖像画的优点。

[0067] 另外，在本实施方式中，作为校正处理而例示了小鼻校正，但也可以应用其他的校正处理，也可以应用并非只一种而是多种校正处理。此外，图6所示的GUI是一例，只要用户能够进行指定或确认则也可以使用任意的GUI。

[0068] ＜第三实施方式＞

[0069] 在上述第二实施方式中，说明了用户能够指定自己希望的校正处理的结构，但在第三实施方式中，说明进行面部的属性或状态的估计，并根据其估计结果来变更(限制)能够指定的校正处理的内容的结构。另外，以下，以本实施方式特有的结构以及处理为中心进行说明，关于与前述的实施方式相同的结构以及处理，赋予相同的标号，省略其详细的说明。

[0070] 图7是示意性地表示本发明的第三实施方式的肖像画生成装置的结构的框图。与第二实施方式(图4)的不同点在于，信息处理装置10具有进行在面部图像中包含的对象者的面部的属性或状态的估计的估计部105。属性是在对象者或者对象者的面部中具备的固有的性质或特征，例如举出年龄、年代、性别、人种等的项目。状态是在对象者或者对象者的面部的图像中的样子(在图像中如何呈现)，例如举出表情、笑脸、面部朝向等的项目。这里列举的项目是属性以及状态的一例，只要是能够从图像估计的信息，则也可以估计任意的属性或状态。此外，也可以从一个面部图像只估计一个项目，也可以估计多个项目。在估计多个项目的情况下，也可以仅是属性的项目，仅是状态的项目，属性的项目和状态的项目的双方的任意的组合。关于估计属性或状态的处理，也可以利用以公知的方法为首的任意的方法。关于年龄或年代的估计，例如能够利用在(日本)特开2008－282089号公报或(日本)特开2009－230751号公报中记载的方法，关于人种的估计，例如能够利用在(日本)特开2005－266981号公报中记载的方法。关于性别，能够根据从图像提取的特征(例如，有无胡须、有无喉结、有无化妆、发型、服装)等来估计。此外，表情、笑脸、面部朝向的估计能够从面部器官的位置关系等来估计(例如，参照国际公开2006/051607号)。

[0071] 图8表示估计部105具有的、估计结果和校正处理的内容的对应表格的一例。图8(a)是性别的表格的例，分别定义了在“女性”的情况下应用的校正项目和在“男性”的情况下应用的校正项目。在该例中，在对象者为“女性”的情况下，应用放大眼睛的校正、美肤校正、小脸校正，在男性的情况下，应用将皮肤的颜色加黑的晒黑校正。图8(b)是性别+年代的表格的例，定义了“女性20多岁”的情况下和“女性30多岁”的情况下的校正处理的内容。在各校正项目中设定的数值是校正程度的上限值(10为最大值)。在该例中，表示“女性30多岁”比“女性20多岁”能够将美肤校正和消除皱纹的校正的校正程度设定得高。图
8(c)是表情的表格的例，分别定义了在“笑脸”的情况下应用的校正项目和在“无表情”的情况下应用的校正项目。在该例中，在对象者为“笑脸”的情况下应用消除皱纹的校正，在“无表情”的情况下应用将嘴角上扬的校正。若预先准备这样的对应表格，则能够根据属性或状态的估计结果，变更校正项目或者变更校正程度的调整幅度。

[0072] 参照图9的流程图和图10的画面例，说明第三实施方式的肖像画生成处理的流程。

[0073] 与第二实施方式相同地，由图像取得部100读入通过摄像装置11拍摄到的图像或者保存的图像的数据(步骤S20、S21)。接着，估计部105从读入的原面部图像进行预定的属性或状态的估计处理(步骤S90)，并根据其估计结果来变更用户能够指定的校正处理的内容(步骤S91)。这里，表示根据性别估计的结果和图8(a)的对应表格来变更能够指定的校正项目的例。图10是读入的原面部图像和用于指定校正处理的GUI的画面例，但表示在原面部图像被估计为是“女性”的面部的结果，能够从GUI选择的校正项目被设定为“眼睛放大校正”、“美肤校正”、“小脸校正”。以后的处理与第二实施方式相同。

[0074] 根据以上叙述的本实施方式的处理，能够获得与第二实施方式相同的作用效果。除此之外，根据本实施方式，由于能够根据对象者的属性或状态来变更能够指定的校正处理的内容，对用户推荐适当的校正项目或校正程度，所以具有能够实现用户的操作负担的减轻或可用性的提高的优点。

[0075] 另外，图10所示的GUI是一例，只要用户能够指定或确认，则也可以使用任意的GUI。此外，图8所示的对应表格也是一例，只要定义了属性/状态和校正处理的内容的对应关系，则也可以使用任意的表格。

[0076] ＜第四实施方式＞

[0077] 在上述第三实施方式中，说明了根据面部的属性或状态的估计结果来变更(限制)能够指定的校正处理的内容的结构，但在第四实施方式中，说明根据面部的属性或状态的估计结果来自动决定校正处理的内容的结构。另外，以下，以本实施方式特有的结构以及处理为中心进行说明，关于与前述的实施方式相同的结构以及处理，赋予相同的标号，省略其详细的说明。

[0078] 图11表示第四实施方式的肖像画生成处理的流程。另外，装置结构也可以与第三实施方式(图7)相同。

[0079] 与第三实施方式相同地，由图像取得部100读入通过摄像装置11拍摄到的图像或者保存的图像的数据(步骤S20、S21)。接着，估计部105从读入的原面部图像进行预定的属性或状态的估计处理(步骤S110)，并根据其估计结果来决定对原面部图像实施的校正处理的内容(步骤S111)。例如，在使用了性别估计的结果和图8(a)的对应表格的情况下，若原面部图像被估计为是“女性”的面部，则选出“眼睛放大校正”、“美肤校正”、“小脸校正”的3种校正处理。

[0080] 接着，图像校正部101对原面部图像实施在步骤S111中选出的校正处理，生成校正面部图像(步骤S112)。以后的处理与第三实施方式等相同。

[0081] 根据以上叙述的本实施方式的处理，能够获得与第三实施方式相同的作用效果。除此之外，根据本实施方式，由于能够根据对象者的属性或状态来自动决定校正处理的内容，所以具有能够消除用户的操作负担，实现流畅且短时间的肖像画制作的优点。

[0082] ＜第五实施方式＞

[0083] 在上述第三以及第四实施方式中，利用了面部的属性或状态的估计结果，但在第五实施方式中，将在对象者的面部中具有显著性的部分(显著部分)利用于校正处理的内容的变更(限制)。另外，以下，以本实施方式特有的结构以及处理为中心进行说明，关于与前述的实施方式相同的结构以及处理，赋予相同的标号，省略其详细的说明。

[0084] 图12是示意性地表示本发明的第五实施方式的肖像画生成装置的结构的框图。与第三实施方式(图7)的不同点在于，信息处理装置10具有显著部分确定部106来代替估计部105。显著性(saliency)是指，相对于其他的部分具有辨识性，容易引起人(观察者)的注意的性质，是在图像识别等的领域中广泛地使用的概念。例如，比其他人眼睛大、下巴长、有明显的痣等都容易引起人的注意，也容易留下记忆。在制作肖像画的情况下，通过发挥或者强调这样的在面部中容易引起人的注意的部分(显著部分)，能够获得较好地捕捉到对象者的特征的肖像画。另一方面，反过来看，显著部分也有可能成为这个人的自卑的原因。因此，作为对显著部分施加的校正处理，考虑为了强调面部的特征而向提高显著性的方向校正的情况和为了隐藏自卑部分而向降低显著性的方向校正的情况的双方，也可以在装置的设计时采用任意的校正。

[0085] 关于确定显著部分的处理，也可以利用以公知的方法为首的任意的方法。本实施方式的显著部分确定部106预先存储平均面部中的各部位(面部器官、轮廓)的特征量(称为平均特征量)，在检测出从原面部图像提取的特征量和平均特征量的背离程度大于预定值的部位的情况下，将该部位确定为显著部分。例如，在对象者的左右眼的间隔比平均面部的间隔明显宽的情况下，该部位被检测为显著部分。另外，特征量的背离程度，在特征量为标量的情况下，根据两个特征量的差或者比来评价即可，在特征量为矢量的情况下，能够根据特征量空间内的欧几里得距离或两个矢量的内积等来评价。

[0086] 关于在由显著部分确定部106确定了显著部分之后的处理，也可以如第三实施方式所示，校正内容指定部104进行根据显著部分的确定结果来变更能够指定的校正处理的内容的处理，也可以如第四实施方式所示，图像校正部101进行根据显著部分的确定结果来变更对原面部图像实施的校正处理的内容的处理。在前者的情况下，准备将显著部分的确定结果和校正处理的内容相对应的表格来代替图8的对应表格，将图9的处理流程的步骤S90和S91的处理分别置换为“从原面部图像确定显著部分的处理”和“根据确定结果来变更用户能够指定的校正处理的内容的处理”即可。在后者的情况下，将图11的处理流程的步骤S110和S111的处理分别置换为“从原面部图像确定显著部分的处理”和“根据确定结果来决定对原面部图像实施的校正处理的内容的处理”即可。

[0087] 通过以上叙述的本实施方式的处理，也能够获得与第三实施方式或第四实施方式相同的作用效果。除此之外，根据本实施方式，由于对对象者的面部中的显著部分实施校正处理，所以能够生成强调了该人的面部的特征的肖像画或者使该人感到自卑的部分变得不明显的肖像画。

[0088] ＜第六实施方式＞

[0089] 在前述的实施方式中，自动或者手动地决定了校正项目或校正程度，但在第六实施方式中，使用他人的面部图像，进行校正，以使将对象者的面部图像内的面部与他人的面部图像内的面部相似。由此，能够制作保持像本人的样子且还与他人的面部相似的肖像画。本实施方式的方法例如能够应用于制作名人风格的肖像画的应用。另外，以下，以本实施方式特有的结构以及处理为中心进行说明，关于与前述的实施方式相同的结构以及处理，赋予相同的标号，省略其详细的说明。

[0090] 图13是示意性地表示本发明的第六实施方式的肖像画生成装置的结构的框图。与第一实施方式(图1)的不同点在于，信息处理装置10具有面部图像数据库107和他人图像取得部108和类似面部选择部109。

[0091] 面部图像数据库107是注册有多个人的面部图像的数据库。例如，预先注册有多个名人的面部图像即可。他人图像取得部108从面部图像数据库107取得设为校正的目标的他人的面部图像(称为目标面部图像)。将谁的面部选为目标面部图像，也可以由用户自身能够从面部图像数据库107中任意指定，也可以由他人图像取得部108推荐选项，使用户从其选项中选择。类似面部选择部109是将与对象者的面部相似的他人的面部图像选为推荐用的选项的功能。二个面部的类似性能够应用面部认证的技术，根据从对象者的原面部图像提取的特征量和从他人的面部图像提取的特征量之间的类似度来评价。例如，类似面部选择部109将对象者的面部的特征量与在面部图像数据库107中注册的各面部的特征量进行比较，将类似度大于预定值的面部选为类似面部即可。

[0092] 图14表示第六实施方式的肖像画生成处理的流程。与前述的实施方式相同地，由图像取得部100读入通过摄像装置11拍摄到的图像或者保存的图像的数据(步骤S20、S21)。接着，类似面部选择部109从面部图像数据库107中选出与读入的原面部图像类似的他人的面部图像(步骤S140)。并且，他人图像取得部108将在步骤S140中选出的他人的面部图像在显示装置12中一览显示，催促用户选择目标面部图像(步骤S141)。若用户从该选项中选择期望的目标面部图像(步骤S142)，则图像校正部101以使原面部图像内的面部与目标面部图像内的面部相似的方式进行原面部图像的校正，生成校正面部图像(步骤S143)。具体而言，考虑以使原面部图像内的特征点的位置与目标面部图像内的特征点的位置接近的方式将原面部图像变形，或者将原面部图像的明度或色调等接近目标面部图像的明度或色调等的处理。在获得了校正面部图像之后的处理与前述的实施方式相同。

[0093] 根据以上叙述的本实施方式的处理，也能够获得与前述的实施方式相同的作用效果。除此之外，根据本实施方式，能够制作保持像本人的样子且看起来还像名人等的面部的肖像画。此外，在本实施方式中，由于选出并推荐与对象者的面部相似的类似面部，所以具有即使察觉不到自己像谁，也能够容易地选择适当的目标面部图像的优点。当然，也可以不进行类似面部的推荐，用户能够将任意的人的面部图像指定为目标面部图像。例如，即使是在将完全不像自己的人的面部选为目标面部图像的情况下，也能够期待获得那个唯一的肖像画。

[0094] ＜其他的实施方式＞

[0095] 上述的实施方式的结构只不过表示了本发明的一具体例，并不是限定本发明的范围的宗旨。本发明在不脱离其技术思想的范围中，能够采用各种具体结构。