[0001] 本发明涉及虚拟现实技术，具体是基于四维动态光场的增强现实系统标定方法。

[0002] 增强现实技术(AR)能够将虚拟目标实时的叠加到真实场景，使人眼观察到虚实融合的场景，能够为用户提供更多信息，增加用户的沉浸式体验。增强现实系统通常包括人眼、光学显示系统、虚拟目标、真实场景。其中，如何将虚拟物体正确叠加到真实的场景中，首先需要解决系统的标定问题。在增强现实系统的标定中，需要获取人眼、虚拟目标平面、真实场景之间的坐标变换关系，即解决系统的标定问题。目前针对AR的标定多是将几个坐标进行变换，从而获取标定参数。然而，标定过程中，一些微小变形问题没有被考虑进标定模型中，从而导致标定精度不高的问题。这些微小变形通常是在标定过程中移动标定目标产生的变形，或是在动态标定过程中，动态标志物的运动导致了标定误差的发生，因此，为了解决这一问题（动态变形导致标定误差发生），结合光场基本原理，将四维静态光场扩展到四维动态光场，并建立标定模型，解决增强现实系统的标定问题。标定是AR系统的第一步，其精度直接影响后续三维跟踪配准的精度。目前，光学透视增强现实系统主要用于标定静态目标。当被校准的目标移动时，动态校准会产生误差，这是没有注意到的。

[0008] 下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

[0009] 为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

[0010] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

[0011] 而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。

[0012] 以下结合实施例对本发明的特征和性能作进一步的详细描述。

[0013] 如图1所示，基于四维动态光场的增强现实系统标定方法，包括如下步骤：步骤一，将七维光场转换为四维光场的过程时，将两个三维平面转化为两个平行的二维平面，所述的两个平行的二维平面分别为虚拟图像显示平面和虚拟相机平面；
步骤二，将人眼模型固定放置在世界坐标系中，根据人眼模型位置e和标定板上的任意点p的位置，以人眼位置e和任意点p得到直线l，直线l与虚拟图像显示平面和虚拟相机平面的交点分别为 和 ；
步骤三，将跟踪相机进行标定，根据相机标定方程，得到虚拟相机平面上的点与跟踪相机之间的坐标转换关系，得到 的坐标；
步骤四，根据 与跟踪相机坐标系中的点之间的变换矩阵，得到四维动态光场标定模型，根据四维动态光场标定模型进行动态光场标定。

[0014] 所述的将七维光场转换为四维光场的过程时，将两个三维平面转化为两个平行的二维平面，包括：在将七维光场转换为四维光场的过程中，将两个三维平面简化为两个平行的二维平面，即将三维坐标向量简化为二维坐标向量，设在降维之前，三维平面向量为 ，对应的二维向量分别为 和 ，则三维向量到二维向量的转换满足以下转换关系：
其中 为降维变换矩阵。
所述的将跟踪相机进行标定，根据相机标定方程，得到虚拟映射平面上的点 与跟踪相机之间的坐标转换关系，得到 的坐标，包括：
首先确定标定过程中动态变化后点p的位置，然后确定直线l=（u,v,s,t）的变化方向m=（u’,v’,s’,t’）；其中参数u,v,s,t表示光线通过两个平行平面交点的光线的坐标值参数；
将标定板上棋盘格点的三维坐标设置为 ，动态变形
表示为：
采用二次多项式：
获取动态变形 后，带入多项式方程能够得到 的坐标 ，
为标定后动态光线与两个平行平面中的虚拟相机平面的交点， 是标定板上棋盘格点的三维坐标， 为多项式拟合中的系数参数；x，y是多项式拟合时的坐标值。

[0015] 所述的根据 与跟踪相机标系中的点之间的变换矩阵，得到四维动态光场标定模型，包括：设 在跟踪相机坐标系中的坐标为 ， 与跟踪
相机标系中的点之间的关系是旋转和平移变换关系，使用SPAMM方法得出旋转和平移值；
设 与跟踪相机坐标系中的点之间的变换矩阵为 ，得出四维动态
光场标定模型：
其中的R表示旋转量，t表示平移量。

[0016] 具体的，一种新的光学透视增强现实系统标定方法。

[0017] 该方法通过分析影响光学透视AR系统标定精度的因素，考虑了动态变形引起的标定误差。

[0018] 基于四维光场理论建立标定模型，将四维静态光场问题转化为动态光场问题。与传统的校准方法相比，该方法能获得更可靠的标定结果。

[0019] 标定是增强现实系统中虚拟现实融合的初始步骤，其精度直接影响后续三维跟踪配准的精度。在标定过程中，标定目标的移动会导致校准误差。

[0020] 现有方法不能解决光学透视增强现实系统的动态变形标定问题。

[0021] 为了解决这一问题，将静态光场扩展到四维动态光场，提出了一种基于四维动态光的光学透视AR系统的标定方法。

[0022] 光学透视AR的系统动态标定作为三维跟踪注册的初始步骤，需要根据人眼、光学显示系统模块、相机信息获取模块、虚拟显示平面、动态目标点之间的关系，建立标定模型，获取标定参数。

[0023] 在此系统中，动态目标经过光学显示系统时会带来光线的畸变问题，因此引入动态光场理论对标定理论和过程进行细化。

[0024] 光场能够描述光的某个物理量在空间内的分布情况，通常光场函数能够表达光在空气中的传播信息，如时间、光线方向、波长等，是一个七维全光函数。但针对此系统，七维函数过于复杂，在标定时计算复杂度较高，因此在建立动态光场函数时，将七维函数降为四维，即只记录光线的方向和位置。光线的方向和位置可以用两个相互平行的平面表示。另外，由于场景中存在动态目标，利用传统的静态标定方法容易引入误差。

[0025] 首先，分析光学透视AR系统各部件之间的关系，包括：人眼、AR显示器、标定相机、虚拟显示平面、真实场景。

[0026] 根据系统的组成考察影响标定结果的因素，影响因素主要为标定目标移动导致的标定误差。

[0027] 并研究了动态目标在移动前后对校准模型的影响。结合光场相关的基本原理，建立四维动态光场的标定理论和模型，解决光学透视AR系统中的动态标定问题。

[0028] 在将七维光场转换为四维光场的过程中，需要将两个三维平面简化为两个平行的二维平面；即需要将三维坐标向量简化为二维坐标向量。光场中的一条光线，可以由两个平行平面来确定，这条光线通过两个平行的平面，在两个平面上各自有一个交点，这两个交点在三维空间中是三维的平面向量，假设在降维之前，三维平面向量为 ，其对应的二维向量分别为 ，则三维向量到二维向量的转换满足以下转换关系：其中 是降维变换矩阵。

[0029] 如果 在光学透视显示器的三维平面上，而 是虚拟图像的三维平面，则分别在相应的二维映射平面上。

[0030] 将跟踪摄像机事先进行了标定，标定时采用传统的张正友相机标定方法。

[0031] 然后，将人眼模型放置在世界坐标系中，使人眼位置固定，此时可以确定眼睛位置e和标定板上的任意点p的位置。以人眼位置e和任意点p做连线，得到直线l并可以确定线l的方程式。

[0032] 在光场中，一条直线通过两个平行平面，在两个平面上得到两个交点，此时能够将直线方程用两个交点代替，交点坐标用 表示。

[0033] 在此系统中，两个平行平面分别为虚拟图像显示平面和光学系统形成的虚拟相机平面。

[0034] 根据相机标定方程，可以获得虚拟映射平面上的点 与跟踪相机之间的坐标转换关系。

[0035] 然而，在标定过程中，需要多次移动校标定以获得更多的标定数据，这不可避免地导致光场的动态变形和动态变化。因此，静态光场问题被转化为动态光场问题。

[0036] 为了表示微小变形，我们首先需要确定动态变化后点p的位置，然后确定l=（u,v,s,t）的变化方向m=（u’,v’,s’,t’）。

[0037] 我们将棋盘格点的三维坐标设置为 ，动态变形 可以用多项式方程表示：
我们通常采用二次多项式：
我们使用多项式方法，因为通过调整参数，多项式可以拟合更多的面，使变形模拟性能更好。

[0038] 获取动态变形后，带入多项式方程能够得到的坐标。

[0039] 人眼坐标系为C1，跟踪相机坐标系为C2，设 在跟踪相机C2坐标系中的坐标为 。 与跟踪相机标系中的点之间的关系是旋转和平移变换关系。使用SPAMM方法得出旋转和平移值。

[0040] 假设 与跟踪相机标系中的点之间的变换矩阵为 ，可以得出四维动态光场标定模型：
实验图像：实验系统包括Nreal增强现实眼镜、标定相机、标定板、计算机。

[0041] 以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。