技术领域
[0001] 本发明涉及眼底成像技术领域，尤其涉及一种基于三维眼球追踪与自动对焦的眼底成像方法及装置。
相关背景技术
[0002] 视网膜血管状态作为眼底健康及普遍疾病的病理依据，而人眼是一个复杂的光学系统，内部各屈光介质折射率不均匀，而且各表面曲率和厚度也因人而异。即使是正常的人眼也不可避免地存在一定像差，这严重影响了眼底的成像质量。因为，对人眼眼底高分辨率成像的眼底相机设计不仅需要校正人眼的像差，而且需要考虑人眼的差异性。所以在眼底照相中，对图像进行精细聚焦是系统较为关键的一步，缺乏对焦往往造成照片质量不佳，自动对焦可以更快速，精准的获取高质量眼底图像。即要实现对眼底的自动对焦补偿人眼的像差且需保证普适性，相关的眼底成像技术包括自动对焦方法与眼球三维追踪方法，目前眼底照相机的对焦方法主要以对比度检测与相位检测法为主。其中对焦方式包括对焦深度(DFF)法和离焦深度(DFD)法，然而现有的自适应式自动对焦所实现的对焦多以夏克‑哈特曼波前传感器为波前探测器，并在光路设计上添加波前校正器，此类方法需计算出屈光度数或拟合出波面，并对屈光度数进行补偿。此类方法在光路设计上复杂度高，且精确调节范围较小，计算量大导致对焦速度慢，对于眼底照相机的眼球三维追踪方法包括手动和全自动。传统的眼底相机主要采用手动对中方法，其中，手动受限于主观判断，操作较为繁琐。而全自动眼底相机的眼球追踪方法主要包括三角定位法和偏移量位移法，但其存在三角定位法受环境影响因素大，外部光线进入系统可能会干扰外眼照明光源形成的散射亮斑的问题，导致计算出现误差。
具体实施方式
[0050] 下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0051] 相关技术中，存在的一些不足，如：
[0052] 1)对比度检测易受噪声影响，导致鲁棒性不高。对焦速度达不到需求，难以达到实时性，且对比度检测易受噪声干扰，会导致评价曲线极产生局部极值，导致对焦失败。
[0053] 2)裂像对焦成本需求大，增大体积，且裂像对焦光路结构需额外设计光路，成本较高。
[0054] 3)自适应对焦受对于高屈光度的人眼，计算量大，残余像差计算精度低，易导致对焦速度慢，对焦精度下降，且自适应对焦光路设计十分复杂，需要对人眼像差波面进行完整重构导致计算量大，需要额外矫正系统相差。
[0055] 4)投影法对焦对光斑反射像缺失或变形会影响对焦结果，即投影法依赖眼表上的光源反射像，当眼角膜产生眼泪或者有较长睫毛干扰时，会导致圆环反射像变形与缺失。
[0056] 5)利用神经网络定位瞳孔的计算速度慢，难以满足实时跟踪眼球的需求，深度学习需要人工标注光斑位置和瞳孔位置作为训练神经网络的训练数据，且训练过程和计算过程复杂。
[0057] 6)三角定位法受环境影响因素大，外部光线进入系统可能会干扰外眼照明光源形成的散射亮斑，且三角定位法需要获取眼表或者角膜上的反射像计算眼球偏移位置，外部光线容易影响反射像的质量导致计算出现误差。
[0058] 基于此，本发明实施例采用夏克‑哈特曼波前传感器测量离焦波面，计算离焦波面与标定波面之间的波像差，实现自动对焦，采用汇聚式双目视觉系统实现对眼球进行实时三维追踪，在清晰度调至最佳时控制相机进行拍照，实现眼底照相机的一键全自动拍照，解决手动无法确定相机到人眼之间工作距离的问题，解决面对不同屈光度的人眼系统无法快速对焦的问题，解决全自动眼底照相机结构复杂的问题，且为现阶段主流的全自动眼底照相机提供一种新型的全自动对焦方法，有助于发展体积更小，系统结构更简单，具有精度高、速度快的自动化检测设备。
[0059] 参照图1，本发明提供了一种基于三维眼球追踪与自动对焦的眼底成像方法，该方法包括以下步骤：
[0060] S1、通过夏克‑哈特曼波前传感器采集的图像计算波面像差，获取离焦量并进行拟合，构建步进电机的移动曲线；
[0061] 具体地，通过设计固视板光源照明在眼底形成一个较小的聚焦光斑，该光斑在眼底形成二次光源，通过眼球与成像系统，经过分光棱镜反射到上方的夏克‑哈特曼波前传感器中，其中夏克‑哈特曼波前传感器是由微透镜阵列与相机组成。当眼底成像系统接受到的像清晰时，位于上方的凸透镜会形成平面波被夏克‑哈特曼波前传感器探测，当眼底成像系统接受到的像模糊时，凸透镜出来的光波面会产生畸变被夏克‑哈特曼波前传感器探测，将畸变波面补偿到平面波的状态，需要计算二者之间的波面像差，并拟合波像差与调焦镜组之间的关系，便可是实现系统的自动对焦。
[0062] S11、通过光源对人眼眼底进行照射处理，形成二次光源并通过夏克‑哈特曼波前传感器进行探测，得到夏克‑哈特曼波前传感器采集的图像；
[0063] S12、设定参考波面的光斑点阵图，获取夏克‑哈特曼波前传感器采集的图像对应的测量波面并进行分割处理，得到测量波面的光斑点阵图；
[0064] 在本实施例中，夏克‑哈特曼波前传感器获取的图像如图3所示，传感器将波面分割成一个光斑点阵。
[0065] S13、通过重心法获取参考波面的光斑点阵图的质心坐标与测量波面的光斑点阵图的质心坐标并进行计算，得到质心偏移量；
[0066] 在本实施例中，利用夏克‑哈特曼波前传感器采集的图像计算波面像差，需要先标定标准波面的质心坐标，采用重心法获取每个光斑的具体质心坐标，重心法公式如下所示：
[0067]
[0068] 上式中，xc表示质心的x坐标，yc表示质心的y坐标，w表示图像的宽度，h表示图像的宽度。
[0069] 然后，再采集探测波面的光斑点阵图，分别计算探测波面的光斑质心与标准波面的光斑质心在x轴与y轴的偏移量。根据图3中所示的夏克‑哈特曼波前传感器的波前斜率几何关系，可以得到：
[0070]
[0071] 上式中，f为系统焦距，δx和δy分别代表x方向和y方向的偏移量，(x1,y1)表示测量波面质心坐标，(x0,y0)表示参考波面的质心坐标。
[0072] S14、通过Zernike多项式对质心偏移量进行展开表示，得到参考波面与测量波面之间的波面像差；
[0073] 在本实施例中，采用zernike对波面进行表达便可得到：
[0074]
[0075] 上式中，cj表示第j项Zernike系数。
[0076] 其中，Zernike多项式如表1所示。
[0077] 表1 Zernike多项式表
[0078]
[0079]
[0080] 利用zernike对波面进行表达的结果便可计算得到的Zernike系数，考虑半径为R的瞳孔上以Zernike多项式表示球差的波前像差，其表达式为：
[0081]
[0082] 上式中， 和 为第2阶泽尼克多项式系数，分别代表离焦、倾斜像散和45°像散。
[0083] 其中：
[0084]
[0085] 则探测波面与标准波面之间的波前像差可以表示为：
[0086]
[0087] S15、考虑夏克‑哈特曼波前传感器波前矫正的功率，对参考波面与测量波面之间的波面像差进行转换处理，得到离焦量；
[0088] 在本实施例中，在近轴条件下，波前矫正的功率可以表示为：
[0089]
[0090] 上式中，R为瞳孔半径。
[0091] 由波前矫正的功率的表达式可知， 是一个常数，取决于余弦项的值，即最小值为0，即当θ＝φ时，1‑cos2
(θ‑φ)＝0，因此球面像差的表达式为：
[0092]
[0093] 上式中，S表示离焦量。
[0094] S16、将离焦量与步进电机的移动值进行曲线拟合处理，得到步进电机的移动曲线。
[0095] 在本实施例中，通过离焦量S与步进电机的移动关系拟合对焦曲线，通过移动调焦镜组，采集系统不同离焦位置的波前图进行采集，通过记录控制调焦镜组的电机步进移动值并采集当前夏克‑哈特曼波前传感器上的图像并计算此时的离焦量S，将离焦量S与电机步进值进行曲线拟合如图4所示，得到离焦量S与步进电机的移动关系曲线表达式：
[0096] T＝6.9455*103*S
[0097] 上式中，T表示步进电机的移动曲线。
[0098] S2、对双目视觉系统采集的人眼瞳孔图像进行定位，获取瞳孔中心坐标；
[0099] 首先，需要说明的是，汇聚式双目视觉系统的实验光学装置示意图如图5和图6所示。实验装置主要由5个部分组成，包括左右两相机光轴的交点1、相机镜头2、待测眼球中心点成像在靶面上的位置3、相机靶面4和待测眼球5。
[0100] S21、对双目视觉系统采集的人眼瞳孔图像进行粗定位，获取初步的瞳孔区域；
[0101] 具体地，对双目视觉系统采集的人眼瞳孔图像进行降采样处理，得到降采样后的图像；对降采样后的图像进行高斯平滑与灰度归一化处理，得到预处理后的图像；通过动态阈值二值化与连通域分析对预处理后的图像进行提取处理，得到连通域的质心；以连通域的质心为矩形框中心，与双目视觉系统采集的人眼瞳孔图像进行定位匹配，得到初步的瞳孔区域。
[0102] 在本实施例中，提取瞳孔中心的处理过程如图7所示。粗定位先对图像降采样至1/25，通过高斯平滑并进行灰度归一化，然后通过动态阈值二值化与连通域分析提取出瞳孔的区域，提取出此连通域的质心，以此质心为矩形框中心，在原图中定位出瞳孔大致区域，即roi(ROI/region ofinterest)区域。效果如图8所示。
[0103] S22、对初步的瞳孔区域进行细定位处理，得到瞳孔中心坐标。
[0104] 具体地，对初步的瞳孔区域进行高斯平滑与灰度归一化处理，得到预处理后的瞳孔区域；通过二值化与图像相减对预处理后的瞳孔区域进行去除光点处理，得到初步的瞳孔连通域；对初步的瞳孔连通域进行图像二值化与模板匹配寻找处理，得到瞳孔连通域；通过Sobel算子边缘检测算法对瞳孔连通域的边缘进行重构处理，得到瞳孔中心坐标。
[0105] 在本实施例中，接着进行细定位，对该区域进行高斯平滑及归一化后由于双目照明灯珠会在瞳孔留下光点，所以对图像进行二值化及图像相减，闭运算等操作去除光点，接着对图像进行二值化和模板匹配找出瞳孔连通域。用Sobel算子边缘检测对X方向进行求导，当睁眼不完全时，瞳孔上方被眼睑遮挡的瞳孔轮廓为斜线，处理后将会变成孤立的点，此时再利用去除小连通域的方法即可获得瞳孔的边缘，再用最小二乘法椭圆拟合即可实现对瞳孔边缘的重构，拟合得到的椭圆中心即为这张图片上的瞳孔中心。效果如图9所示。
[0106] S3、根据瞳孔中心坐标进行三维眼球追踪坐标转换处理，得到人眼眼球的三维坐标；
[0107] 具体地，获取瞳孔中心坐标后，利用汇聚式双目视觉系统重构眼球中心点和相机的三维坐标流程如图10所示。
[0108] S31、获取瞳孔中心坐标与双目相机之间的水平距离以及瞳孔中心坐标与夏克‑哈特曼波前传感器采集的图像的中心点之间的竖直距离；
[0109] S32、根据水平距离与竖直距离并结合双目相机的工作距离、倾斜角与焦距，确定双目相机的光心坐标；
[0110] S33、根据双目相机的光心坐标与瞳孔中心坐标确定之间的直线方程并根据根据相似三角形定理进行求解，得到人眼眼球的三维坐标。
[0111] 在本实施例中，设x1为图片中瞳孔中心到水平方向上的距离，a为相机缩放比，由表达式：
[0112]
[0113] 求解瞳孔中心到图像中心点的竖直的距离。结合工作距离OOR，相机倾斜角θ，焦距f根据几何关系得右相机图像的中心点OR和右相机的光心OgL的坐标，OL和OgL同理。又因为有：
[0114]
[0115] 可求解出眼球中心点在左相机图像中心点PL的坐标，PR的坐标同理可得。
[0116] 由已知点求解出左右相机光心和眼球中心点连线的直线方程，其表达式为：
[0117]
[0118] 再将其联立可得P点的平面坐标，设：
[0119]
[0120] 即有
[0121]
[0122] 根据相似三角形定理，有：
[0123]
[0124] 即可求出：
[0125]
[0126] 综上，重构出眼球的三维坐标为：
[0127]
[0128] 已求得P点坐标，并已知O点为原点坐标，对于眼底相机，双目相机两光轴的交点O也是眼底相机最佳工作距离。当此装置部署到眼底相机上，只需计算出向量 并根据相关电机协议将处理后的值反馈给电机进行移动，即可实现眼底相机对眼球的实时对中对焦。
[0129] S4、根据人眼眼球的三维坐标控制双目相机进行自动对焦，并结合步进电机的移动曲线控制双目相机进行移动拍摄，得到人眼眼底图像。
[0130] 综上所述，本发明实施例相比于现有技术存在以下区别点：
[0131] 1)提出一种全自动实时三维追踪眼球及对眼底自动对焦得到清晰眼底图像方法。
[0132] 2)基于夏克‑哈特曼波前传感器设计的自动对焦方法，本发明在光路设计上巧妙的利用了对称共轭点的关系，仅通过探测凸透镜的离焦波面，便可联结到系统的对焦，实现自动对焦。与现有的对焦方法相比，其满足精度高，速度快，受干扰小的同时，可以实现更小体积，更简易，成本低的光路结构设计。市面上的两种主流的对焦方法，对比度检测与相位检测，其中对比度对焦通过获取当前图像，计算当前图像的质量评价系数判断画面清晰度，从而确定对焦精准的位置，其对图像及清晰度评价函数要求较高，信息量偏多时会导致对焦精度下降或对焦失败。相位检测法则需要额外实际光路，成本较高，图像检测的精度要求高且增大系统体积。本发明实施例利用zernike多项式及夏克‑哈特曼波前传感器实现的自动对焦由于通过计算离焦量S并利用离焦量S与步进电机的移动关系曲线来指导对焦过程中电机运动，所以普适性高。在zernike拟合重构波前部分没有重构出整个波面，而是只对离焦量S进行了计算，且不需要额外矫正系统相差，只需计算单透镜的立体校正像差这样做大大简化了计算，提高了自动对焦的速度。
[0133] 3)基于汇聚式双目重构三维坐标的自动对中方法：现有的眼底相机的对中对焦方法需设计额外的光路以获取角膜或眼表反射像来实现。汇聚式双目的结构简单，无需新增光路，仅利用成一定角度放置的相机即可实现三维眼球追踪，降低设计成本。部分应用在其它眼科仪器的汇聚式双目系统也能重构出三维坐标，其确定其中一个相机的光心为原点，但需要先对相机进行标定获取内外参等参数，再通过投影矩阵公式和最小二乘法得出眼球的三维坐标。本专利的三维眼球追踪方法无需对相机进行标定，并设定世界坐标系的原点是两个相机镜头主光轴的交点，只需要把通过控制双目相机的安装倾斜角，使左右相机镜头的主光轴的交点设置到眼底相机的焦平面上即可实现对中对焦。
[0134] 4)基于图像处理对抗半遮眼及长睫毛等干扰的瞳孔中心精确定位的方式：本方法相较于传统的图像处理对瞳孔中心的识别更具鲁棒性，传统图像处理对睫毛遮挡及半遮眼等情况考虑较少，利用特征点识别及特征匹配进行计算速度不足以满足汇聚式双目系统所需要的实时对中，跟踪眼球效果，使用改进的径向对称变换算法在光点影响及部分睫毛遮挡瞳孔的情况下精确度高，但在半遮眼及长睫毛遮挡的情况下精确度依旧达不到要求；为实现计算速度快且在睫毛遮挡及半遮眼等情况仍能实现高精度的定位瞳孔，本方法使用的：分粗细定位的方法，以实现能更好的针对被各种干扰的瞳孔能够定位到中心；对提取出的瞳孔连通域采用对水平方向上的Sobel边缘提取，再去除小连通域，对剩余的点进行椭圆拟合即可实现对半遮眼情况下完整瞳孔轮廓的重现；利用阈值分割及图像相减等处理，实现对干扰瞳孔光斑的去除。
[0135] 本发明实施例相比于现有技术存在以下有益效果：
[0136] 1)本发明实施例采用夏克‑哈特曼波前传感器对离焦波面进行探测，夏克‑哈特曼波前传感器具有非常高的灵敏度、可在毫秒内同时测量整个瞳孔的视觉像差、受散射影响小，对波面的光程差异探测较为敏感，可以实现um级的高精度探测，波前重构的速度在ms级，测量速度级快。而且本设计利用分光棱镜制造与像面相互联结的共轭点，仅对单个透镜的波面信息进行探测便可知道像面是否存在离焦，进而通过拟合的离焦量联结调焦镜组进行对焦。该方法无需大型且复杂的结构体积，对眼科测量自动化具有一定的参考价值。
[0137] 2)本发明实施例利用了对采集图像进行图像处理获取瞳孔在图像上的中心位置，再结合相机放大倍率和系统内部原件位置的几何关系可重构出眼球和相机的三维坐标。本发明的结构简单，相比与传统的利用图像拼接实现对焦的汇聚式双目系统，本发明在实现对焦功能的基础上，推导出了利用双目相机和眼球的具体的世界三维坐标，拓宽了汇聚式双目的适用场景。同时，基于图像处理对于瞳孔中心点的提取技术，利用Sobel算子边缘提取及形态学处理等方法可以在不完全睁眼和长睫毛遮挡的时候仍然能较快速准确的提取瞳孔中心，具有较高的鲁棒性和实时性。
[0138] 一种基于三维眼球追踪与自动对焦的眼底成像装置，包括眼底成像系统、自动对焦系统与双目定位系统，其中：
[0139] 眼底成像系统包括照明系统与成像系统，眼底成像系统用于对人眼眼底视网膜进行成像，得到人眼眼底图像；
[0140] 自动对焦系统用于计算成像系统中获取的视网膜图片的离焦量；
[0141] 双目定位系统用于进行三维眼球追踪。
[0142] 进一步，还需要说明的是，成像系统包括接目物镜、调焦镜组、成像镜组、分光棱镜和电荷耦合器件。
[0143] 具体地，在本实施例中，如图2所示，本发明实施例的眼底成像装置分为三个部分：眼底照相系统、自动对焦系统与双目定位系统。眼底照相系统眼底照相系统通常分为照明和成像，用于对眼底视网膜进行成像，该系统采用单点式照明，采用近红外观测，白光拍摄的方式对眼底视网膜进行成像，照明与成像共用同一组目镜，并由分光镜连接。系统含有内固视设计，采用内调焦作为屈光补偿方法。成像系统由接目物镜、调焦镜组、成像镜组、分光棱镜及电荷耦合器件(CCD)组成。其中，接目物镜用于接目物镜在成像系统中将视网膜做第一次成像，在照明系统中作为将照明光源，成像到瞳孔处；调焦镜组在成像系统中作为补偿人眼屈光的作用，可以对于不同屈光度的人眼进行调焦；成像镜组用于对接目物镜所成的第一次成像进行二次成像，可以有效的消除一次成像的残余像差；分光棱镜用于衔接夏克‑哈特曼波前传感器与CCD，可以使反射像与透射像具有相同的像质，保证离焦的共轭性；CCD用于捕捉视网膜图像并将其转换为数字信号，供后续处理和分析。照明系统由led光源、均光片和接目物镜组成，用于把视网膜照亮，然后被成像系统所接受，最后获取视网膜的图像。光线通过均光板，由检偏器起偏，经过接目物镜在瞳孔上边缘形成一个光斑，避免角膜中心反射产生的杂散光，由接目物镜反射的光线经由线性起偏器阻挡，由视网膜散射的部分光线通过成像系统在相机上成像。自动对焦系统用于计算成像系统中获取的视网膜图片的离焦量，根据离焦量然后联结调焦镜组进行离焦补偿对焦，该系统位于像面前分光棱镜的上方，在像面位置采用四方棱镜作为分光器件，保证反射与透射具有相同的像差特性，反射的聚焦光斑通过上方的凸透镜形成平面波，被夏克‑哈特曼波前传感器探测，利用凸透镜的离焦后，波面的畸变量实现成像系统的自动调焦。双目定位系统用于实现眼球的三维追踪，该系统包括两个短焦相机与两个LED灯照明，相机位于眼底照相系统两侧，通过红外光进行照明，采用汇聚式对人眼瞳孔中心进行拍摄，利用几何关系，实现眼球的三维追踪。
[0144] 上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0145] 以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
