首页 / 图像形成装置、图像形成方法、图像处理装置及图像处理方法

图像形成装置、图像形成方法、图像处理装置及图像处理方法有效专利 发明

技术领域

[0003] 根据一个或多个示例性实施例的装置和方法涉及图像处理装置及其图像处理方法,并且更具体地,涉及用于通过使用包括在图像内容中的元数据来处理图像的图像处理装置和图像处理方法。

相关背景技术

[0004] 已经提供了各种用于提高图像内容质量的图像处理方法。例如,已经提供了用于提高各种图像质量元素(例如图像内容的锐度、亮度以及颜色)的图像处理方法。
[0005] 最近还提供了高清图像内容。为了对高清图像内容执行图像处理,需要图像处理信息。然而,在相关领域中,元数据仅包括与现有图像内容的分辨率和大小有关的信息,并不包括用于图像处理的信息。
[0006] 具体地,模糊、噪声等等可以引起高清图像内容(例如4K图像内容)的质量劣化。对于出现在电影内容中的模糊,存在由于摄像机运动导致的模糊和由于胶片扫描器抖动导致的模糊。由摄像机运动导致的模糊可以是导演的预期效果,并且图像处理装置可能难以根据导演的意图来自动确定并处理内容。至于由胶片扫描器抖动导致的模糊,图像处理装置需要执行图像处理以去除由于扫描器的问题导致的模糊。也就是说,期望甚至在相同图像中去除依赖于制作者意图的模糊。
[0007] 此外,噪声可以包括胶片颗粒噪声、高斯噪声、I/B/P帧之间噪声过度出现的呼吸噪声等等。胶片颗粒噪声可以根据制作者的意图来插入,并且可以期望图像处理装置不要无条件地去除胶片颗粒噪声。另一方面,高斯噪声不是预期的,但在制作过程期间出现,并且应当由图像处理装置移除。呼吸噪声通过周期性地重复逐渐模糊在I帧、在B/P帧中突显的噪声并且模糊再一次在I帧中图像的噪声,以闪烁的形式出现,并且呼吸噪声典型地出现在过度压缩的图像中。需要去除呼吸噪声以提供清晰的屏幕,但是难以确定是否存在噪声并且难以知晓图像质量增强算法中的I/B/P帧信息,并且因此难以处理呼吸噪声。
[0008] 也就是说,如上所述,使用其中不包括与图像处理相关联的信息的元数据的现有系统不能执行最佳图像质量处理来符合制作者的意图。

具体实施方式

[0039] 一个或多个示例性实施例可以不同地修改并具有若干个形式。因此,具体示例性实施例将在附图中示出并在本说明书中详细描述。然而,应当理解的是,本发明并不限于具体示例性实施例,但是在不背离本发明的范围和精神的前提下包括所有修改、等同体和替代。当确定与一个或多个示例性实施例有关的领域的详细描述会模糊一个或多个示例性实施例的公开时,将省略其详细描述。
[0040] 术语“第一”、“第二”等等可以用于描述各种组件,但是该组件不能解释为受到该术语的限制。该术语用于将一个组件与另一个组件相区分。
[0041] 本说明书中使用的术语仅用于描述具体示例性实施例,并且不应当解释为限制本发明。除非另有明确说明,单数形式意在包括复数形式。还将理解的是,本说明书中使用的术语“包括”或“具有”指定在本说明书中提到的所陈述的特征、数字、步骤、操作、组件、部分或者其组合的出现,但并不排除一个或多个其它特征、数字、步骤、操作、组件、部分或者其组合的出现或增加。
[0042] 在一个或多个示例性实施例中,“模块”或“单元”执行至少一个功能或操作,并且可以由硬件或软件或硬件与软件的组合来实现,例如一般用途处理器或特殊用途处理器。此外,多个“模块”或多个“单元”集成到至少一个模块中,除非“模块”或“单元”需要由具体硬件来实现,并且因此可以由至少一个处理器来实现。
[0043] 下文中将会参照附图对各种示例性实施例进行描述。
[0044] 图1是示出了根据示例性实施例的图像提供系统的示意图。图像提供系统包括内容产生器50和图像处理装置100,即图像处理器。
[0045] 在这种情况下,内容产生器50向图像处理装置100提供图像内容和包括与图像内容有关的各种信息的元数据。在这种情况下,图像内容产生器50可以通过存储介质(例如DVD和BD,其仅作为示例)向图像处理装置100提供图像内容和元数据,并且因此内容产生器50可以通过各种方法(例如通过因特网和有线网络)来向图像处理装置100提供图像内容和元数据。
[0046] 同时,内容产生器50产生的元数据可以包括指示是否针对每个帧执行图像处理的标志信息和图像处理信息。详细地,图像处理信息可以包括用于增强图像内容的锐度的信息、用于处理图像内容的噪声的信息、用于增强图像内容的亮度的信息、以及用于增强图像内容的颜色的信息。此外,元数据可以包括标志信息,该标志信息可以确定是否处理图像内容的图像以符合制作者的意图。
[0047] 图像处理装置100使用元数据来对图像内容执行图像处理。具体地,图像处理装置100通过使用包括在元数据中的标志信息确定是否基于包括在每个帧的元数据中的图像处理信息来针对每个帧执行图像处理,并且该图像处理装置100可以基于包括在元数据中的图像处理信息来对确定为正经受图像处理的图像帧执行图像处理。
[0048] 此外,图像处理装置100输出经图像处理的图像帧。在这种情况下,图像处理装置100可以通过显示器显示经图像处理的图像帧,并且可以通过有线和无线的传输方法向外部设备发送经图像处理的图像帧。
[0049] 如上所述,提供了包括标志信息和图像处理信息的元数据,并且因此用户可以查看根据制作者的意图的经图像处理的图像内容。
[0050] 图2是示出了根据示例性实施例的图像处理装置100的配置的框图。如图2所示,图像处理装置100包括输入单元110(即接收机、通信器、或收发机)、图像处理器120(即处理器或控制器)、以及输出单元130(即发射机、通信器、或收发机)。在这种情况下,图像处理装置100可以是智能电视(TV),但是这仅仅是示例,并且图像处理装置100可以实现为各种装置,例如作为非限定性示例,机顶盒(STB)、数字视频盘(DVD)播放器、蓝光盘(BD)播放器、平板个人计算机(PC)、智能电话、以及笔记本PC。
[0051] 输入单元110接收包括图像内容和与图像内容有关的信息的元数据。在这种情况下,输入单元110从存储介质(例如BD、DVD等等)接收图像内容和元数据,但这仅仅是示例,并且输入单元110可以通过有线和无线方法从外部接收图像内容和元数据。备选地,输入单元110可以从内部存储器中检索图像内容和元数据。
[0052] 同时,通过输入单元110输入的元数据包括标志信息和图像处理信息,该标志信息指示是否针对每个帧执行图像处理,图像处理信息包括用于对图像内容执行图像处理的参数。详细地,图像处理信息可以包括用于增强图像内容的锐度的信息、用于处理图像内容的噪声的信息、用于增强图像内容的亮度的信息、以及用于增强图像内容的颜色的信息中的至少一个。
[0053] 图像处理器120基于标志信息和图像处理信息来处理图像内容。详细地,图像处理器120基于标志信息确定是否针对每个帧执行图像处理,并且可以基于图像处理信息对确定为正经受图像处理对图像帧执行图像处理。
[0054] 例如,图像处理器120可以获取与图像内容的频率特性有关的信息以增强图像内容的锐度,并根据获取的图像内容频率特性来控制图像处理滤波器(例如带通滤波器)的频率分量和强度,以对图像帧执行图像处理。为了增强图像内容的锐度,可以将带通滤波器应用到原始图像内容。也就是说,可以通过将图像内容应用到带通滤波器来控制图像内容的特定频带的强度以控制图像的锐度。在这种情况下,图像处理滤波器可以是带通滤波器,但这仅仅是示例,并且可以应用另一个滤波器来替代带通滤波器。
[0055] 尽管将元数据描述为包含标志信息和图像处理信息两者,当标志信息指示不执行图像处理时,元数据可以仅包含标志信息。此外,在标志信息指示将执行图像处理的情况下,图像处理器120可以仅获取图像处理信息。
[0056] 下文中,将参照图3A和图3B描述根据示例性实施例的用于增强图像内容的锐度的方法。
[0057] 参照图3A,输入单元110接收图像内容的元数据(S310)。在这种情况下,如下文表格1所示,输入的元数据可以包括:指示是否执行用于增强图像内容的锐度的图像处理的标志信息(Flag_Detail_Enhance),和关于用于增强图像内容的锐度的图像内容频率特性的信息(DCT_X_0,...DCT_X_N,DCT_Y_0,...DCT_Y_N)。
[0058] [表格1]
[0059]
[0060] 在这种情况下,图像内容频率特性中的DCT_X_0至DCT_X_N是X方向上的离散余弦变换(DCT)系数,并且DCT_Y_0至DCT_Y_N是Y方向上的DCT系数。在这种情况下,频率随着DCT系数的值接近于0而减小,并且频率随着DCT系数增大而增大。
[0061] 图像处理器120从输入的元数据获取与用于增强图像内容的锐度的频率特性有关的信息(S320)。也就是说,图像处理器120获取输入图像的X方向上的DCT系数和Y方向上的DCT系数。
[0062] 此外,图像处理器120使用标志信息来确定是否增强锐度(S330)。详细地,当标志值是0时,图像处理器120可以不执行用于增强图像内容的锐度的图像处理,并且当标志值是1时,图像处理器120可以执行用于增强图像内容的锐度的图像处理。
[0063] 如果需要增强图像内容的锐度,则图像处理器120通过使用与提取的频率特性有关的信息来控制带通滤波器的频率(S340)。详细地,图像处理器120可以在图像内容具有高频率信号的情况下应用高频率带通滤波器,并且可以在图像内容具有低频率信号的情况下应用低频率带通滤波器。如果在不考虑图像内容的频率的情况下应用带通滤波器,则可能不会适当的呈现包括在图像内容中的独有信号。例如,如果将低频率带通路滤波器应用到具有高频率信号的图像,则细节信号将变得增厚并且聚集,并且因此输出低质量图像。由此,图像处理器120可以通过使用与提取的频率特性有关的信息来控制带通滤波器的频带,以增强图像内容的锐度。
[0064] 此外,图像处理器120通过使用频率受控的带通滤波器来执行图像处理(S350)。此外,输出单元130输出经图像处理的图像内容(S360)。
[0065] 然而,如果基于标志信息确定不增强图像内容的锐度,则图像处理器120输出原始图像内容(S370)。备选地,图像处理器120可以使用设置在图像处理装置100中的缺省带通滤波器来执行用于增强图像内容的锐度的图像处理。缺省带通滤波器可以由用户预设或设置。
[0066] 也就是说,如图3B所示,图像处理装置100可以接收图像内容385和关于图像内容的频率信息380,并且可以基于输入图像内容的频率信息380来控制带通滤波器390的频率分量和强度,以输出具有增强锐度的图像内容395。
[0067] 根据另一个示例性实施例,图像处理器120可以从元数据获取用于增强图像内容的锐度的与图像内容的模糊函数有关的信息,并且通过使用模糊函数的反函数来对图像帧执行图像处理。详细地,大多数图像内容具有在获取图像时由于外部因素(镜头模糊、运动模糊等等)造成的图像内容的锐度减小的问题。为了去除作为导致锐度减小的因素的模糊现象,图像处理装置可以估计模糊函数并将该估计的模糊函数的反函数应用到图像内容,以获取具有增强锐度的图像。详细地,如果Y被称作当前输入图像内容,X被称作在模糊之前的清晰图像内容,并且模糊函数是H,则这可以由下方的方程式1来表示。
[0068] [方程式1]
[0069] Y=HX
[0070] 这里,当不存在与导致模糊现象的模糊函数有关的信息时,难以获得X,但是如果基于元数据可以设想到导致模糊现象的模糊函数的反函数,则可以获取由下方的方程式2表示的在模糊之前的清晰图像内容。
[0071] [方程式2]
[0072] X=H-1Y
[0073] 由此,当模糊函数的反函数包括在元数据中时,图像处理装置100可以去除图像内容的模糊现象以增强图像内容的锐度。
[0074] 下文中将参照图4A和图4B描述根据另一个示例性实施例的用于增强图像内容的锐度的方法。
[0075] 首先,输入单元110接收图像内容的元数据(S410)。在这种情况下,如下方表格2所示,输入元数据可以包括:指示是否从当前帧去除模糊的标志信息(Flag_Blur_Remove),和与当前帧的模糊有关的信息(Blur_Model,Param_Motion_Blur,Param_Gaussian_Blur)。
[0076] [表格2]
[0077]
[0078] 此外,图像处理器120从输入元数据获取与用于增强图像内容的锐度的模糊函数有关的信息(S420)。例如,图像处理器120可以获取当前帧的模糊模型的类型和模糊模型的参数。
[0079] 此外,图像处理器120使用标志信息来确定是否去除模糊(S430)。详细地,当标志值是0时,图像处理器120可以不执行模糊去除,并且当标志值是1时,图像处理器120可以执行模糊去除。
[0080] 如果确定需要去除模糊,则图像处理器120使用模糊函数的反函数来执行图像处理(S440)。详细地,图像处理器120可以使用模糊模型的参数来生成模糊函数,并计算生成的模糊函数的反函数。此外,图像处理器120可以使用计算的模糊函数的反函数来执行用于去除模糊的图像处理。此外,输出单元130输出经图像处理的图像内容(S450)。
[0081] 然而,如果确定不需要去除模糊,则图像处理器120输出原始图像内容(S460)。详细地,图像处理器120确定模糊是由制作者的意图来生成,并且可以输出原始图像而不消除生成的模糊。
[0082] 也就是说,如图4B所示,图像处理装置100可以将模糊函数的反函数H-1应用到出现模糊现象的图像帧470,以输出去除模糊现象的图像帧475。
[0083] 根据另一个示例性实施例,图像处理器120可以从元数据获取用于处理图像内容的噪声的噪声参数,并且通过使用获取的噪声参数来执行图像帧的噪声处理。详细地,与一般的噪声不同,可以由制作者的意图来插入胶片颗粒噪声。由此,当一般图像处理装置100去除胶片颗粒噪声时,会违背制作者的意图从图像内容中去除噪声。由此,图像处理器120可以根据标志信息确定是否去除噪声,并基于噪声参数适当地去除图像帧的噪声。
[0084] 下文中将参照图5描述根据示例性实施例的用于处理图像内容的方法。
[0085] 首先,输入单元110接收图像内容的元数据(S510)。在这种情况下,输入元数据可以包括指示是否处理当前帧的噪声的标志信息(Flag_Grain_Noise)和噪声参数(Param_Grain_Noise),如下方表格3所示。
[0086] [表格3]
[0087]
[0088] 此外,图像处理器120从元数据获取用于图像内容的噪声处理的噪声参数(S520)。在这种情况下,用于图像内容的噪声处理的噪声参数包括噪声的噪声降低(NR)设置值、细节增强(DE)设置值等。
[0089] 此外,图像处理器120使用标志信息来确定是否处理噪声(S530)。详细地,当标志值是0时,图像图像处理器120可以不执行图像帧的胶片颗粒噪声处理,并且,当标志值是1时,图像处理器120可以执行图像帧的胶片颗粒噪声处理。
[0090] 当需要对当前图像帧执行胶片颗粒噪声处理时,图像处理器120使用包括在元数据中的NR设置值和DE设置值来处理噪声(S540)。图像处理器120可以基于包括在元数据中的NR设置值来防止去除包括在当前帧中的胶片颗粒噪声,并且可以通过使用包括在元数据中的DE设置值来防止噪声过度突显的现象。此外,输出单元130输出经噪声处理的图像内容(S550)。
[0091] 然而,当需要对当前图像帧执行基本噪声处理而不执行胶片颗粒噪声处理时,图像处理器120可以基于设置的基本NR设置值和基本DE设置值来执行噪声处理(S560)。此外,输出单元130输出执行了基本噪声处理的图像内容(S550)。
[0092] 如上所述,图像处理器120可以处理噪声以符合制作者的意图并且可以输出符合制作者的意图的图像内容。
[0093] 根据另一个示例性实施例,图像处理器120可以从元数据获取用于增强图像内容的亮度的最大亮度信息和黑色级别信息中的至少一个,并且图像处理器120可以通过使用获取的最大亮度信息和黑色级别信息中的至少一个来对图像内容的亮度执行图像处理。详细地,当在输入图像内容中同时出现亮区域和暗区域两者时,如果控制图像的亮度使得暗部分看上去更好,则可能出现亮部分过度明亮的现象。因此,在基于图像内容的最大亮度信息和黑色级别信息中的至少一个来设置图像内容的最大亮度和最小亮度的情况下,可以解决图像过暗或过亮的问题。
[0094] 此外,如图6B所示,图像处理器120可以从元数据获取用于增强图像内容的特定区域的亮度的焦点图,通过使用获取的焦点图来提取特定区域,并且控制特定区域的对比度的增益值,以对图像内容执行图像处理。详细地,为了增强图像内容中特定区域(例如字符等等)的对比度,图像处理器120可以提取特定区域并通过提高所提取区域的对比度来对图像内容执行图像处理。
[0095] 下文中将参照图6A和图6B描述根据示例性实施例的用于增强图像内容的亮度的方法。
[0096] 首先,输入单元110接收图像内容的元数据(S610)。在这种情况下,输入元数据可以包括:指示是否需要激活当前帧中的亮度和灰度级表示的限制的标志信息(Flag_Contrast_Limit)、用于限制亮度和灰度级表示的参数(Param_Contrast_Peak)、指示是否需要焦点加亮功能的标志信息(Flag_Focus_Object)、以及用于焦点加亮的参数(Map_Object_Contrast、Param_Object_Contrast)。
[0097] [表格4]
[0098]
[0099] 此外,图像处理器120从输入元数据中提取用于增强图像内容的亮度的参数(S620)。在这种情况下,如上方表格4所示,可以包括用于增强图像内容的亮度的参数、用于限制亮度和灰度级表示的参数(Max_Peak_Level,Max_Black_Level)、以及用于增强特定区域的对比度的参数(焦点图、CE增益值等等)、以及针对用于增强对比度的焦点加亮功能的类似参数。
[0100] 此外,图像处理器120可以根据标志信息确认是否需要限制亮度和灰度级表示(S630)。详细地,当指示是否需要激活亮度和灰度级表示的标志信息是0,则图像处理器不执行对亮度和灰度级表示的限制,并且,当指示是否需要激活亮度和灰度级表示的标志信息是1时,图像处理器120可以限制亮度和灰度级表示以执行图像处理。
[0101] 当需要激活亮度和灰度级表示限制时,图像处理器120使用最大亮度信息和黑色级别信息中的至少一个来执行图像处理(S640)。详细地,图像处理器120可以使用最大亮度信息和黑色级别信息中的至少一个来设置图像内容的最大亮度和最小亮度,并且在设置的最大亮度和最小亮度范围内执行图像处理。此外,输出单元130输出经图像处理的图像内容(S650)。
[0102] 然而,当不需要亮度和灰度级表示的限制时,图像处理器120确认是否需要焦点加亮功能(S660)。在这种情况下,焦点加亮功能增强图像内容内特定区域的对比度的功能。详细地,当指示是否需要焦点加亮功能的标志信息是0时,图像处理器120不执行焦点加亮功能,并且,当指示是否需要焦点加亮功能的标志信息是1时,图像处理器120可以执行焦点加亮功能。
[0103] 如果确定需要焦点加亮功能,则图像处理器120使用焦点图来执行用于增强特定区域的对比度的图像处理(S670)。详细地,如图6B所示,图像处理器120使用针对特定对象的焦点图来掩蔽处理不包括特定对象的图像其余部分,并且可以将包括在元数据中的CE增益值应用到该特定部分以执行图像处理。此外,输出单元130输出经图像处理的图像内容(S650)。
[0104] 如果确定不需要焦点加亮功能,则图像处理器120通过使用基本设置值来执行针对图像内容的图像处理(S680),并且输出单元130输出经图像处理的图像内容(S650)。
[0105] 根据另一个示例性实施例,图像处理器120从元数据获取用于增强图像内容的亮度的图像亮度范围信息、与每个场景有关的最大亮度信息、目标亮度信息、以及色调映射查找表(LUT)曲线信息中的至少一个,并且可以使用获取的与每个场景有关的最大亮度信息、目标亮度信息、以及色调映射LUT曲线信息中的至少一个来控制图像内容的动态范围,以便对图像帧执行图像处理。
[0106] 具体地,为了在一般显示板上显示产生为高动态范围(HDR)的图像内容,需要色调映射处理。由此,图像处理器120可以防止一般显示面板上超出最大亮度的部分饱和,获取用于反映了制作者意图的色调映射的动态范围控制参数(例如与图像有关的亮度范围信息、针对每个场景的最大亮度信息等等),并且通过使用获取的参数来执行色调映射。
[0107] 此外,为了在一般显示设备上显示产生为低动态范围(LDR)的图像内容,执行色调映射处理,并且可以将通过色调映射处理生成的LDR图像内容转换为HDR图像内容。因此,图像处理器120可以获取用于色调映射的动态范围控制参数(例如,亮度范围信息、针对每个场景的最大亮度信息、目标亮度信息、以及色调映射LUT曲线信息等等),并且通过使用获取的参数来执行色调映射。
[0108] 下文中将参照图7A至图7D描述根据另一个示例性实施例的用于增强图像内容的亮度的图像处理方法。首先,图7A和图7B描述了用于当输入HDR图像内容时增强图像内容的亮度的图像处理方法。
[0109] 参照图7A,输入单元110接收HDR内容(S710)。在这种情况下,输入单元10还可以接收元数据,该元数据包括用于HDR内容的色调映射的动态范围控制参数(例如,图像的亮度范围信息、针对每个场景的最大亮度信息等等)。
[0110] 此外,图像处理器120使用动态范围控制参数来处理图像(S720)。详细地,图像处理器120可以使用动态范围控制参数来将偏离了当前目标显示装置的亮度范围的动态范围减小到目标显示装置的亮度范围,并且将输入图像内容的亮度控制在减小的动态范围内。
[0111] 此外,输出单元130输出经图像处理的图像内容(S730)。
[0112] 此外,图7C和图7D描述了用于当输入LDR图像内容时增强图像内容的亮度的图像处理方法。
[0113] 参照图7C,输入单元110接收LDR内容(S740)。在这种情况下,输入单元110还接收元数据,该元数据包括用于LDR内容的色调映射的动态范围控制参数(例如图像的亮度范围信息、针对每个场景的最大亮度信息、目标亮度信息、色调映射LUT曲线信息、等等)。
[0114] 此外,图像处理器120使用动态范围控制参数来处理图像(S750)。详细地,图像处理器120可以使用动态范围控制参数来将当前目标显示设备的亮度范围中出现的动态范围扩大到当前目标显示设备可以呈现的最大亮度范围,并且将输入图像内容的亮度控制在扩大的动态范围之内,如图7D所示。
[0115] 此外,输出单元130输出经图像处理的图像内容(S760)。
[0116] 如上所述,根据一个或多个示例性实施例,用户可以查看具有在当前显示设备的最大输出范围内的增强的对比度的图像内容。
[0117] 根据另一个示例性实施例,图像处理器120获取用于增强图像内容的颜色的色域信息、与每个场景有关的颜色量信息、与每个场景有关的重要颜色量信息、与每个场景有关的面部颜色信息、颜色映射信息、以及保护色域指定信息中的至少一个,并且可以使用获取的色域信息、与每个场景有关的颜色量信息、与每个场景有关的重要颜色量信息、与每个场景有关的面部颜色信息、颜色映射信息、以及保护色域指定信息中的至少一个来对图像内容的颜色执行图像处理。
[0118] 详细地,图像处理器120优选地地确认与原始图像内容有关的色域信息。此外,图像处理器120执行原始图像内容的色域与可以由当前显示设备呈现的色域的比较。当色域相同时,不需要色域映射并且因此图像处理器120可以根据观看者选择的屏幕模式来处理颜色。当色域相互不同时,图像处理器120可以基于观看者选择的屏幕模式来执行色域映射操作并且处理颜色。
[0119] 下文中将参照图8A至图8D描述用于增强图像内容的颜色的图像处理方法。
[0120] 参照图8A,输入单元110接收元数据(S810)。如下方表格5所示,元数据可以包括与原始图像内容有关的色域信息、场景单元中的颜色量信息、场景单元中的重要颜色量信息、场景单元中的面部颜色信息、与颜色映射方法有关的信息、以及保护色域指定信息等等。图8C是用于描述场景单元中的颜色量以及场景单元中的重要颜色量的示意图。如图8C所示,一般图像内容可以由RGB值来表示,或者图像内容的颜色量配置可以通过使用类似于人类颜色认知特性的HSV色域来三维地表示。当在场景中出现对应的颜色时,将颜色量配置指定为1,并且,当在场景中没有出现对应的颜色时,将颜色量配置指定为0,可以针对每个场景来呈现颜色配置信息。尽管在图8C中使用HSV色域,但是这仅仅是示例,并且可以使用Lab色域、XYZ色域等等。可以使用场景单元中的颜色量信息和重要颜色量信息来增强视觉灵敏度颜色。一般视觉灵敏度颜色的增强保持颜色的色调分量,并且在饱和度增长的方向上使用,并且因此,可以通过使用HSV色域将饱和度分量的增益值应用为最优值。
此外,图8D是用于描述场景单元中的面部颜色信息的示意图。场景单元中的面部颜色信息可以自动检测为面部区域,但是也可以由用户指定并用于提高场景单元中的类似上述颜色量信息和重要颜色量信息的视觉灵敏度颜色。
[0121] [表格5]
[0122]
[0123] 此外,图像处理器120从输入元数据获取用于增强图像内容的颜色的参数(S820)。详细地,如上方表格5所示,图像处理器120可以获取与原始图像内容有关的色域信息、场景单元中的颜色量信息、场景单元中的重要颜色量信息、场景单元中的面部颜色信息、与颜色映射方法有关的信息、以及保护色域指定信息等等。
[0124] 此外,图像处理器120通过确认原始图像内容的色域信息(即将原始图像内容的色域信息与显示面板的色域相比较),确定是否需要显示面板的色域的映射(S830)。在这种情况下,图像处理器120可以确定当原始图像内容的色域与显示面板的色域相同时不需要映射,并且确定当原始图像内容的色域与显示面板的色域不同时需要映射。
[0125] 如果确定不需要色域的映射,则图像处理器120确定用户选择什么屏幕模式(S840)。当用户选择的屏幕模式是电影模式时,图像处理器120执行精确颜色呈现处理(S850),并且,当用户选择清晰模式时,图像处理器120使用场景单元中的颜色量信息来执行用于增强视觉颜色的图像处理(S860)。
[0126] 如果确定需要色域的映射,则图像处理器120将原始图像内容的色域映射到显示面板的色域(S870)。详细地,图8B是根据示例性实施例的指示色域映射和保护色域的色域的概念示意图。当原始内容的色域是DCI-P3并且显示器的色域是sRGB时,图像处理器120可以线性或非线性地压缩原始内容的颜色,或者保持显示器中的色域并且只剪裁外部色域。此外,通过组合两种方法,可以在显示颜色内部的保护色域中保持原始颜色,并且在保护色域外部选择压缩方法。此外,内容制作者可以保持用于针对相同图像放映电影的顾客内容以及用于放映TV等等的一般内容二者,并且因此计算两个内容的颜色之间的相关性以产生映射函数。制作者可以将映射方法包括在元数据中。
[0127] 此外,图像处理器120确定用户选择什么屏幕模式(S880)。当用户选择的屏幕模式是电影模式时,图像处理器120执行精确颜色呈现处理(S890),并且,当用户选择清晰模式时,图像处理器120使用场景单元中的颜色量信息来执行用于增强视觉颜色的图像处理(S895)。
[0128] 如上所述,使用用于增强图像内容的颜色的元数据来处理图像内容,并且因此用户可以查看符合制作者意图的图像内容。
[0129] 返回参照图2,输出单元130输出图像处理器120处理的图像内容。在这种情况下,输出单元130可以实现为显示器来输出经处理的图像内容,或实现为输出终端以向外部设备(例如显示设备)发送经处理的图像内容。
[0130] 下文中将参照图9描述根据一个或多个示例性实施例的图像处理装置100的图像处理方法。
[0131] 图像处理装置100接收图像内容和元数据(S910)。在这种情况下,元数据可以包括指示是否执行图像处理的标志信息和图像处理信息。
[0132] 此外,图像处理装置100基于标志信息来确定是否针对每个帧执行图像处理,并对基于图像处理信息对确定为正经受图像处理图像帧执行图像处理(S920)。
[0133] 此外,图像处理装置100输出经图像处理的图像帧(S930)。
[0134] 如上所述,图像处理装置100可以根据图像内容的制作者的意图来执行图像处理,并且通过使用用于图像处理的元数据向用户提供处理的图像内容,该元数据反映图像内容的制作者的意图。
[0135] 同时,根据上述各种示例性实施例的图像处理装置的图像处理方法可以实现为程序,并且因此可以向显示设备或输入设备提供。具体地,可以提供包括用于控制显示设备的方法的程序,同时该程序可以存储在非暂时性计算机可读介质中。
[0136] 非暂时性计算机可读介质并不是短时间存储数据的介质(例如寄存器、高速缓存、存储器等等),而是意味着半永久存储数据的机器可读介质。具体地,上述各种应用或程序可以在非暂时性计算机可读介质中存储并提供,例如高密度盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等等。
[0137] 如上所述,根据一个或多个示例性实施例,图像处理装置可以执行图像处理以满足图像内容的制作者的制作意图,并且基于元数据向用户提供经处理的图像内容。可以通过使用元数据来反映图像内容的制作者的意图。
[0138] 上文中,虽然已经示出并描述了示例实施例,本发明并不限于上述具体示例性实施例,但是本领域技术人员应当理解的是:在不脱离如所附权利要求限定的发明构思的精神和范围的情况下,可以对示例实施例进行各种变化。此外,这样的修改也应当理解为落入本发明的范围和精神中。

当前第1页 第1页 第2页 第3页
相关技术
图像处理相关技术
图像形成相关技术
金昌源发明人的其他相关专利技术