技术领域
[0002] 一个或多个示例实施例提供了涉及用于恢复图像的方法和设备的方法和设备。
相关背景技术
[0003] 近来，由于光学技术和图像处理技术的发展，图像拍摄设备在广泛的领域(例如，多媒体内容领域、安全领域或识别领域)使用。例如，图像拍摄设备可安装在移动装置、相机、车辆或计算机中，以拍摄图像、识别对象或获取用于控制装置的数据。然而，由于具有劣化的部分被包括在由图像拍摄设备拍摄的图像中，所以需要去除劣化的方法。
具体实施方式
[0037] 将参照附图详细描述示例实施例，其中，相同的参考标号始终表示相同的元件。
[0038] 下面的结构或功能的描述是仅用于描述示例实施例的示例，并且示例实施例的范围不限于本说明书中提供的描述。本领域普通技术人员可对示例实施例进行各种改变和修改。
[0039] 尽管术语“第一”或“第二”被用于解释各种组件，但是组件不限于术语。这些术语仅用于将一个组件与另一组件区分开来。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
[0040] 应注意，如果说明书描述第一组件“连接”、“结合”或“接合”到第二组件，则尽管第一组件可直接连接、结合或接合到第二组件，但是第三组件可“连接”、“结合”或“接合”在第一组件与第二组件之间。
[0041] 如在此使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解，术语“包含”和/或“包括”在本说明书中被使用时，说明存在阐述的特征、整体、步骤、操作、元件、组件和/或它们的组，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
[0042] 除非在此另有定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与本领域的普通技术人员通常理解的含义相同的含义。除非在此另有定义，否则通用词典中定义的术语应被解释为具有与相关领域中的上下文含义匹配的含义，并且将不被解释为理想化或过于形式化的含义。
[0043] 关于分配给附图中的元件的参考标号，应注意，即使相同的元件在不同的附图中示出，相同的元件也将尽可能地由相同的参考标号来指定。
[0044] 图1A是示出根据示例实施例的图像恢复模型的示图。
[0045] 参照图1A，图像恢复模型130可响应于目标图像110的输入基于像素位置信息120来输出恢复图像140。目标图像110可表示输入到图像恢复模型130的图像，并且可以是包括基于像素位置的不同水平的劣化的图像。劣化可由用于拍摄目标图像110的透镜的像差引起。透镜可以是多透镜阵列或单透镜，将在下面参照图1B和图1C进一步描述。恢复图像140可表示目标图像110的劣化被减小的图像，并且可从图像恢复模型130输出。
[0046] 图像恢复模型130可执行输入目标图像110的图像处理，并且可输出恢复图像140。图像处理可包括例如超分辨率(SR)、去模糊、去噪、去马赛克或图像修复。SR可以是用于增大图像的分辨率的图像处理，去模糊可以是用于去除包括在图像中的模糊的图像处理，去噪可以是用于消除包括在图像中的噪声的图像处理，去马赛克可以是用于从不完整的颜色样本重构全彩色图像的图像处理，图像修复可以是用于重构图像的丢失或损坏部分的图像处理。
[0047] 像素位置信息120可基于根据二维(2D)坐标表示目标图像110中的像素位置的至少一个图像。表示像素位置信息120的图像可具有与目标图像110的分辨率相同的分辨率，因此，表示像素位置信息120的图像可指示包括在目标图像110中的像素的位置，将在下面参照图4和图5进一步描述。
[0048] 图1B和图1C是示出根据示例实施例的用于拍摄目标图像的透镜的示图。
[0049] 参照图1B，可基于多透镜阵列150拍摄多个目标图像。
[0050] 多透镜阵列150可包括多个透镜元件151a、151b、151c以及151d。当包括在多透镜阵列150中的每个透镜元件的尺寸减小时，每个透镜元件(例如，透镜元件151a)的焦距f1和图像拍摄设备的厚度可减小。也就是说，当包括在同一区域中的透镜元件的数量增大时，透镜元件151a的焦距f1和图像拍摄设备的厚度可减小。如上所述，通过减小包括在多透镜阵列150中的每个透镜元件的尺寸可实现薄的相机。在另一示例中，透镜元件151a也可以以多层结构被实现。
[0051] 多透镜阵列150的单独的透镜元件151a可覆盖传感器160的与单独的透镜元件151a的尺寸对应的区域。传感器160的所述区域可被预先确定。例如，穿过单独的透镜元件
151a的光155可入射到包括在传感器160的所述区域中的感测元件上。光155可包括多条光线。光线156可对应于光子157的流。包括在传感器160中的每个感测元件可基于穿过多透镜阵列150的透镜元件的光线156来生成感测信息。例如，感测元件161可基于入射到透镜元件
151a上的光线156来生成感测信息。此外，除了由光线156描绘的光155之外，穿过另一单独的透镜元件151b的光可入射到感测元件的一部分上。
[0052] 穿过多个透镜元件的光线可被感测，并且复眼视觉(CEV)图像170可被获取作为目标图像。CEV图像170可表示通过以类似于昆虫的复眼的操作的方式用稍微不同的视点重叠地拍摄同一场景而获取的图像。例如，CEV图像170可基于由多个感测元件通过以阵列布置的多个透镜元件接收的光线的强度来获取。包括在CEV图像170中的图像可分别对应于多个透镜元件。
[0053] CEV图像170可作为目标图像被输入到图像恢复模型，并且包括在CEV图像170中的单独的图像的像素位置信息和CEV图像170可被输入到图像恢复模型。包括在CEV图像170中的单独的图像可具有相同的分辨率，并且像素位置信息也可作为具有与包括在CEV图像170中的单独的图像的分辨率相同的分辨率的单个帧被输入到图像恢复模型。图像恢复模型可从具有低分辨率的输入CEV图像170确定具有高分辨率的恢复图像。
[0054] 参照图1C，可基于单个透镜180拍摄至少一个目标图像190。可基于单个透镜180拍摄目标图像190。虽然单个透镜180可具有比包括在图1B的多透镜阵列150中的单独的透镜元件中的每个的尺寸更大的尺寸，并且可具有基于尺寸的相对长的焦距f2，但是图像拍摄设备的体积也可增大。当使用单个透镜180执行一次拍摄时，可获取单个目标图像(即，目标图像190)。当若干次连续拍摄同一场景时，可获取多个目标图像。获取的多个目标图像和像素位置信息可被输入到图像恢复模型。
[0055] 图2是示出根据示例实施例的目标图像的劣化的示图。
[0056] 参照图2，目标图像210包括基于像素位置的不同水平的劣化。为便于描述，目标图像210可表示包括在由多透镜阵列拍摄的CEV图像中的多个单独的图像或由单个透镜拍摄的单个图像，并且劣化特性基于目标图像210的中心部分220和外围部分230来描述。如图2中所示，在外围部分230中可出现比在中心部分220中强的劣化，这可由由于透镜像差从图像的中心部分到图像的外围部分的劣化的程度的增大而引起。以上劣化特性也可在点扩散函数(PSF)240中被验证。在PSF 240中，执行集中在中心部分220中的而不是外围部分230中的一个点处。因此，更靠近目标图像210的中心部分220的第一部分具有比更远离中心部分的第二部分弱的劣化。此外，劣化可具有基于透镜的中心的对称形状(例如，轴对称)。
[0057] 图3是示出根据示例实施例的图像恢复设备的操作的示图。
[0058] 图3示出图像恢复设备从输入了目标图像310和目标图像310的像素位置信息320的图像恢复模型330获取恢复图像340的处理的示例。
[0059] 目标图像310可表示具有基于像素位置的不同水平的劣化的至少一个图像，并且可以是例如多个低分辨率(LR)图像。多个LR图像可以是包括在由多透镜阵列拍摄的CEV图像中的多个单独的图像，或者通过使用单个透镜若干次连续拍摄同一场景而获取的多个图像。即使使用单个透镜连续并快速地拍摄同一场景，包括在拍摄图像中的信息也可由于图像传感器的细微移动而稍微改变，并且单个高分辨率(HR)图像可通过对以上各种信息进行组合来获得。即使当相同的信息被包括在多个LR图像中时，减小了LR图像中的噪声的图像也可通过对LR图像的信息进行平均来获得。
[0060] 像素位置信息320可包括包含在目标图像310中的像素的位置的信息。以下将参照图4和图5进一步描述像素位置信息320。
[0061] 目标图像310和像素位置信息320可彼此联结或关联，并且可被输入到图像恢复模型330。图像恢复模型330可以是使用至少一个卷积层处理输入图像的神经网络。上述目标图像310和像素位置信息320可彼此联结，并且可被输入到包括在图像恢复模型330中的卷积层331。当指示图像中的每个像素的位置的像素位置信息320和目标图像310被输入到图像恢复模型330时，图像恢复模型330可通过利用像素的位置信息来应用适合于将被恢复的像素的图像恢复函数。因此，可有效地增强恢复性能。
[0062] 神经网络可对应于深度神经网络(DNN)的示例。DNN可包括例如全连接网络、深度卷积网络或循环神经网络(RNN)。神经网络可通过基于深度学习映射处于非线性关系的输入数据和输出数据来执行图像恢复。深度学习表示用于根据大数据集解决问题(诸如，图像恢复)的机器学习方案。通过深度学习中的有监督学习或无监督学习，输入数据和输出数据可彼此映射。
[0063] 神经网络可包括输入层、隐藏层和输出层。输入层、隐藏层和输出层中的每个可包括多个节点。
[0064] 根据一个示例实施例，神经网络中除了输出层之外的层的节点可经由链路连接到下一层的节点以发送输出信号。多个链路可对应于包括在下一层中的多个节点。除了输出层之外的层可以是输入层和多个隐藏层。
[0065] 根据一个示例实施例，与包括在先前层中的节点的加权输入相关联的激活函数的输出可被输入到包括在隐藏层中的每个节点。加权输入可通过将权重与包括在先前层中的节点的输入相乘来获得。权重可被称为神经网络的参数。例如，权重可对应于包括在卷积层中的核矩阵中的核元素。激活函数可包括例如S形函数、双曲正切(tanh)函数或修正线性单元(ReLU)函数。非线性可通过激活函数在神经网络中形成。包括在先前层中的节点的加权输入可被输入到包括在输出层中的每个节点。
[0066] 当神经网络的宽度和深度足够大时，神经网络可具有足够大的容量以实现任意功能。当神经网络通过适当的学习处理来学习足够大量的训练数据时，可实现最佳的图像恢复性能。
[0067] 图像恢复模型330可响应于目标图像310和像素位置信息320的输入而输出恢复图像340。恢复图像340可表示包括在目标图像310中的劣化被减小或去除的图像，并且可包括例如HR图像。
[0068] 图4和图5是示出根据示例实施例的像素位置信息的示图。
[0069] 图4示出基于笛卡尔(Cartesian)坐标指示包括在目标图像中的像素的位置的像素位置信息。
[0070] 像素位置信息可包括第一图像410和第二图像420，第一图像410的值在笛卡尔坐标中的一个轴方向上改变，第二图像420的值在与所述一个轴方向垂直的另一轴方向上改变。第一图像410和第二图像420可具有与目标图像的分辨率相同的分辨率。例如，第一图像410可以是尽管在y轴方向上具有相同的值但具有在x轴方向上改变的值的图像，并且第二图像420可以是尽管在x轴方向上具有相同的值但具有在y轴方向上改变的值的图像。图像恢复模型可验证来自第一图像410的对应的像素位置的x轴值，可验证来自第二图像420的对应的像素位置的y轴值，并且可在图像恢复期间利用对应的像素位置(x，y)。
[0071] 图5示出基于极坐标指示包括在目标图像中的像素的位置的像素位置信息。
[0072] 像素位置信息可包括第三图像510和第四图像520，第三图像510的值基于距极坐标中的参考点的距离而改变，第四图像520的值基于相对于参考线的角度而改变。第三图像510和第四图像520可具有与目标图像的分辨率相同的分辨率。第三图像510可以是这样的图像：该图像的值响应于距参考点的距离的改变而改变，但是当距参考点的距离相同时，尽管相对于参考线的角度改变，该图像的值还具有相同的值。例如，第三图像510可在参考点处具有最低值，并且在第三图像510的距参考点最远的四个顶点处具有最高值。此外，第四图像520可以是这样的图像：该图像的值响应于相对于参考线的角度的改变而改变，但是当相对于参考线的角度相同时，尽管距参考点的距离改变，该图像的值还具有相同的值。例如，第四图像520可在参考线中具有最低值，并且在相对于参考线的预定的方向(例如，顺时针或逆时针)上的最大角度处具有最高值。尽管为了便于描述，如图5中所示，相对于参考线的角度被划分为“16”份，但是示例实施例不限于此。例如，相对于参考线的角度可被划分为“n”份，并且n可以是大于或等于“1”的自然数。图像恢复模型可验证对应的像素与来自第三图像510的参考点之间的距离r，可验证相对于来自第四图像520的对应的像素的参考线的角度θ，并且可在图像恢复期间利用对应的像素的位置(r，θ)。
[0073] 在这个示例中，参考点可以是拍摄目标图像的透镜的主点(principal point)。主点可以是光轴和透镜的主平面彼此相交的点，并且可表示透镜的中心。主点可表示透镜的光学中心并且可不同于透镜的几何中心。在另一示例中，参考点可以是目标图像的中心。根据示例实施例，当透镜的主点未被验证时，目标图像的中心可被设置为参考点。
[0074] 在一个示例中，输入到图像恢复模型的像素位置信息可基于根据例如图像恢复模型或目标图像确定的2D坐标。在一个示例中，因为由透镜引起的模糊通常从透镜的中心径向分布，所以当图像恢复模型去除包括在目标图像中的模糊时，基于极坐标而不是笛卡尔坐标的像素位置信息可被选择并被输入到图像恢复模型。在另一示例中，当包括在目标图像中的劣化垂直地和/或水平地改变时，当由图像传感器拍摄的图像的仅中心部分被裁剪并作为目标图像被输入到图像恢复模型时，基于笛卡尔坐标而不是极坐标的像素位置信息对于图像恢复可更有用。
[0075] 在另一示例中，像素位置信息可包括基于笛卡尔坐标指示目标图像中的像素的位置的图像，以及基于极坐标指示目标图像中的像素的位置的图像。在这个示例中，像素位置信息可包括图4的第一图像410和第二图像420以及图5的第三图像510和第四图像520，并且图像恢复模型可根据将被恢复的目标图像的劣化基于根据笛卡尔坐标和/或极坐标的像素位置信息执行图像恢复。
[0076] 图6是示出根据示例实施例的像素位置信息和目标图像被输入到卷积层的处理的示图。
[0077] 图6示出彼此联结的目标图像610和像素位置信息620。
[0078] 目标图像610可包括多个LR图像，并且每个LR图像可包括三个特征图像(例如，红色(R)图像、绿色(G)图像和蓝色(B)图像)。目标图像610可包括例如包括在由多透镜阵列拍摄的CEV图像中的多个单独的图像或由单个透镜拍摄的单个图像。如上所述，像素位置信息620可包括基于2D坐标指示目标图像610中的像素位置的两个图像。
[0079] 目标图像610和像素位置信息620可彼此联结，并且可被输入到图像恢复模型的卷积层。与每个区域对应的两个位置信息图像和多个LR图像可被输入到卷积层。例如，与外围部分630对应的两个位置信息图像和多个特征图像可被一起输入到卷积层，并且与中心部分640对应的两个位置信息图像和多个特征图像可被一起输入到卷积层，因此，当在图像恢复模型中执行图像处理时，可基于对应的区域的位置将最佳图像恢复函数应用到每个区域，以期望更有效的图像恢复。图像恢复函数可表示被应用到图像恢复模型中的目标图像610以获取恢复图像的至少一个运算，并且应用到对应的区域的图像恢复函数可根据目标图像610中的区域的位置而改变。例如，不同水平的劣化可出现在目标图像610的外围部分
630和中心部分640中，因此不同的图像恢复函数可被施加到外围部分630和中心部分640。
至少一个运算可以是适用于图像恢复模型的运算，并且可包括例如卷积运算、ReLU运算或池化运算。
[0080] 使用以上图像恢复函数减小每个像素区域的不同水平的劣化的图像恢复模型可通过机器学习被预先确定。图像恢复模型可以是被预先训练为基于像素位置和参考目标图像的参考像素位置信息，响应于具有不同水平的劣化的参考目标图像的输入而输出具有减小的劣化的参考恢复图像的模型。在训练期间使用的参考目标图像可包括基于拍摄将被实际恢复的目标图像的透镜的特性引起的劣化，并且可具有与将被实际恢复的目标图像的分辨率相同的分辨率。此外，在训练期间使用的参考像素位置信息可与用于实际图像恢复的像素位置信息相同。
[0081] 如上所述，参考目标图像、参考像素位置信息和参考恢复图像可被用作训练数据，并且即使基于透镜设计的模糊信息缺失，图像恢复模型也可被训练。
[0082] 对于拍摄目标图像的每个透镜可发生基于像素位置的不同水平的劣化，并且输入到图像恢复模型的数据的大小(例如，像素位置信息的大小)可基于目标图像的分辨率而改变，因此，图像恢复模型可基于拍摄目标图像的透镜和目标图像的分辨率被单独地训练。例如，去除由智能电话相机拍摄的目标图像的劣化的图像恢复模型和去除由普通相机拍摄的目标图像的劣化的图像恢复模型可以是基于不同条的训练数据进行训练的模型，并且可彼此区分。
[0083] 图7是示出根据示例实施例的能够实现图像恢复设备的设备的示图。
[0084] 图像恢复设备可被应用于去除由各种装置拍摄的图像的劣化。此外，图像恢复设备可被应用于在各种技术领域(例如，对象识别、风格迁移或无监督图像生成)中使用不包括劣化的图像。
[0085] 例如，如图7中所示，图像恢复设备可被安装在移动装置700中以恢复由移动装置700中的相机拍摄的图像。尽管如图7中所示为了便于描述而安装了三个相机710、720和
730，但是在移动装置700中可包括各种数量的相机。相机710、720和730可以是不同的相机并具有不同的透镜规格(例如，广角透镜、标准透镜、远摄透镜或多个透镜)，或者具有不同的分辨率。图像恢复设备可使用三个图像恢复模型来去除由相机710、720和730中的每个相机拍摄的图像的劣化。在一个示例中，可通过多任务学习来训练单个图像恢复模型，以去除由相机710、720和730中的每个相机拍摄的图像的劣化。在这个示例中，指示相机710、720和
730中的哪个相机拍摄将被恢复的目标图像的信息可被附加地输入到图像恢复模型。
[0086] 图8是示出根据示例实施例的图像恢复方法的流程图。
[0087] 图8示出根据示例实施例的由包括在图像恢复设备中的处理器执行的图像恢复方法。
[0088] 在操作810中，图像恢复设备获取目标图像。例如，图像恢复设备可获取包括在由多透镜阵列拍摄的CEV图像中的多个单独的图像或由单个透镜拍摄的单个图像作为目标图像。像素位置信息可基于2D坐标指示目标图像中的像素位置。在一个示例中，像素位置信息可包括第一图像和第二图像，第一图像的值在笛卡尔坐标中的一个轴方向上改变，第二图像的值在与所述一个轴方向垂直的另一轴方向上改变，并且第一图像和第二图像可具有与目标图像的分辨率相同的分辨率。在另一示例中，像素位置信息可包括第三图像和第四图像，第三图像的值基于距极坐标中的参考点的距离而改变，第四图像的值基于相对于参考线的角度而改变，并且第三图像和第四图像具有与目标图像的分辨率相同的分辨率。在另一示例中，像素位置信息可包括第一图像、第二图像、第三图像和第四图像，第一图像的值在笛卡尔坐标中的一个轴方向上改变，第二图像的值在与所述一个轴方向垂直的另一轴方向上改变，第三图像的值基于距极坐标中的参考点的距离而改变，第四图像的值基于相对于参考线的角度而改变。
[0089] 在操作820中，图像恢复设备从输入了目标图像和目标图像的像素位置信息的图像恢复模型获取目标图像的恢复图像。像素位置信息和目标图像可彼此联结，并且被输入到图像恢复模型的卷积层。目标图像可以是具有基于像素位置的不同水平的劣化的图像，恢复图像可以是劣化被减小的图像。
[0090] 图像恢复模型可以是被训练为基于像素位置和参考目标图像的参考像素位置信息响应于具有不同水平的劣化的参考目标图像的输入而输出具有减小的劣化的参考恢复图像的模型。
[0091] 根据示例实施例，当目标图像对应于包括在由多透镜阵列拍摄的CEV图像中的多个单独的图像时，包括在多透镜阵列中的多个透镜元件的位置信息、标识信息或布置信息可被附加地输入到图像恢复模型，并且可用于确定恢复图像。
[0092] 即使透镜元件被设计为具有相同的规格，包括在多透镜阵列中的多个透镜元件也可由于工艺变化而具有不同的劣化特性。多个透镜元件的位置信息被附加地提供给图像恢复模型，因此，恢复图像可基于多个透镜元件之间的劣化特性的差异来进一步确定。此外，由于包括在多透镜阵列中的多个透镜元件被布置在不同的位置中，所以即使通过拍摄同一场景获得图像，也可出现针对图像中的同一对象的不同水平的劣化。多个透镜元件的位置信息被附加地提供给图像恢复模型，因此，恢复图像也可基于以上劣化差异来进一步确定。
[0093] 图1A至图7的以上描述同样适用于图8的方法，因此在此不重复其进一步描述。
[0094] 图9是示出根据示例实施例的图像恢复设备的示图。
[0095] 参照图9，图像恢复设备900包括存储器910、处理器920和输入/输出(I/O)接口930。存储器910、处理器920和I/O接口930可经由总线940彼此通信。
[0096] 存储器910可包括计算机可读指令。处理器920可通过执行存储在存储器910中的指令来执行上述操作。存储器910可包括例如易失性存储器或非易失性存储器。
[0097] 处理器920可以是被配置为执行指令或程序，或者控制图像恢复设备900的设备，并且可包括例如中央处理器(CPU)和/或图形处理器(GPU)。图像恢复设备900可经由I/O接口930连接到外部装置(例如，图像传感器或存储训练数据的数据库)，并且可交换数据。例如，图像恢复设备900可通过外部相机接收输入视频。图像恢复设备900可被实现为各种计算装置(例如，智能家用电器(诸如，智能电话、可穿戴装置、个人数字助理(PDA)、平板计算机、膝上型计算机或智能电视(TV))、智能汽车或自助服务终端)中的任何一个的一部分。此外，图像恢复设备900可处理上述操作。
[0098] 根据示例实施例，当在图像恢复模型中执行卷积运算时，关于将被参照的图像的区域的信息也可被输入到图像恢复模型。因此，即使对于根据像素位置的不同水平的劣化，也可通过连续空间中的空间变化图像恢复函数基于区域应用可变运算，以期望相对高的恢复性能。
[0099] 在此描述的示例实施例可使用硬件组件、软件组件或它们的组合来实现。处理装置可使用一个或多个通用计算机或专用计算机(诸如，以处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应并执行指令的任何其它装置为例)来实现。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。响应于软件的执行，处理装置也可访问、存储、操作、处理和创建数据。为了简明的目的，处理装置的描述被用作单数；然而，本领域技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者处理器和控制器。此外，不同的处理配置是可行的，诸如，并行处理器。
[0100] 软件可包括计算机程序、代码段、指令或它们的一些组合，以独立地或共同地指示或配置处理装置如期望的那样进行操作。软件和数据可永久地或暂时地体现在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中，或者永久地或暂时地体现在能够将指令或数据提供到处理装置或者能够由处理装置解释的传播信号波中。软件还可被分布在联网的计算机系统上，使得软件以分布式的方式来存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质来存储。
[0101] 根据上述示例实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中，以实现可由计算机执行的各种操作。介质也可单独地或组合地包括程序指令、数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是计算机软件领域的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD ROM盘和DVD)、磁光介质(诸如，光盘)以及被专门配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(诸如，由编译器产生的机器代码)和包含可由计算机使用解释器执行的高级代码的文件两者。描述的硬件装置可被配置为用作一个或多个软件模块，以便执行上述示例实施例的操作，或者反之亦然。
[0102] 虽然本公开包括示例实施例，但是本领域普通技术人员将清楚的是，在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例实施例中做出形式和细节上的各种改变。在此描述的示例实施例仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述应被认为可适用于其它示例中的类似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合，和/或由其它组件或它们的等同物替换或补充，则可实现合适的结果。因此，公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化应被解释为包括在公开中。
