[0001] 本发明涉及一种面向民航飞机的视频实时稳像方法。

[0002] 随着智能交通业务的飞速发展，人们对民航飞机安全生产、监控调度和管理控制等工作的要求越来越高，这些工作都要依赖安装的相机进行环境感知，为使环境感知得到的信息更加精准，首先一定要保证获取的视频数据清晰稳定。然而民航飞机在工作途中，经常由于天气、路况、速度等原因导致相机产生抖动，很难获取到稳定的视频数据，如果能对视频数据进行稳像处理得到稳定视频，会更利于工作人员对当前舱内实时情况的掌握。

[0003] 当前视频稳像的方法虽已相对成熟，但应用于民航飞机仍然存在以下问题：

[0004] (1)针对鱼眼相机拍摄视频效果不佳

[0005] 目前的视频稳像方案大多是搭配标准相机镜头进行使用的，而对于民航飞机为保证无死角对整个舱室进行观测，通常使用鱼眼相机进行拍摄，而鱼眼镜头为了达到超大的视角，成像画面产生了较大的畸变，越靠近边缘畸变越大，相机抖动时图像各部分的运动矢量方向并不相同，在相机产生抖动位移量时，图像中各像素点运动方向并不相同，因此直接对鱼眼相机的成像视频进行稳像处理会导致对抖动的误判从而去抖效果不佳。

[0006] (2)针对俯视视角稳像效果较差

[0007] 为方便观察舱内情况，通常将相机布设在舱顶处对舱内进行俯拍。在遭遇颠簸时，产生的抖动多为沿横截面上各方向随机抖动矢量的叠加，当相机平视拍摄时，抖动方向所在平面与相机成像的图像平面平行，最终呈现为画面的平移，此时可以将相机的运动视为在2D平面内运动。而在相机俯视拍摄情况下，飞机的部分抖动在相机成像坐标系内被分解为最终呈现为目标的放缩，此时相机更接近在3D空间里随机抖动，因此在俯视情况下应考虑相机所在环境为3D真实场景，若使用描述2D图像的模型建模实现稳像功能，则会使最终稳像效果大打折扣。

[0008] (3)遭遇剧烈抖动时稳像效果较差

[0009] 首先稳像算法通常基于图像识别、运动估计和补偿技术实现，但在剧烈抖动的情况下，图像可能出现很大的位移和形变，使得算法难以准确识别和补偿抖动；其次，遭遇剧烈抖动时，视频内目标有可能发生运动，如飞机遭遇气流强烈的颠簸时，舱内乘客可能产生位移，易对相机的运动估计产生影响。

[0033] 根据本发明的一个实施例的面向民航飞机的视频实时稳像方法包括如下步骤：

[0034] a)获取固定好相机的内参和外参：

[0035] 内参包括：

[0036] 焦距：描述相机的焦距，通常以像素为单位；

[0037] 主点：描述图像坐标系的原点在相机坐标系中的投影位置，通常以像素为单位；

[0038] 径向畸变系数：描述径向畸变，通常使用k1,k2等参数；

[0039] 切向畸变系数：描述切向畸变，通常使用p1,p2等参数；

[0040] 这些参数通过相机标定的过程获得，标定通常使用标定板或特定的场景进行。

[0041] 外参包括：

[0042] 旋转矩阵：描述相机的旋转变换；

[0043] 平移向量：描述相机的平移变换；

[0044] 外参描述了相机坐标系相对于世界坐标系的位置和方向。

[0045] b)基于相机内参对图像进行畸变矫正预处理，获取矫正后图像：

[0046] 鱼眼相机导致畸变的原因主要包括径向畸变和切向畸变鱼眼相机的径向畸变通常使用多项式函数进行建模。考虑二阶径向畸变，对于一个点(x,y)，矫正后的坐标(xcorrected,ycorrected)的计算公式为：

[0047]

[0048] 其中，r为到图像中心的距离，k1,k2是径向畸变系数

[0049]

[0050] 其中，r为到图像中心的距离，p1,p是切向畸变系数。

[0051] 畸变校正前后图像分别如图1(A)和1(B)所示。

[0052] c)基于相机外参选取合适的运动矢量模型：

[0053] 通过分析相机外参得到相机的位姿参数，若相机为俯视角度架设，获取当前的俯视角，若当前俯视角较大时，相机的垂直运动分量会对应产生符合线性比例关系的景深变化。当目标产生景深变化时，距离相机越近的目标放缩变化越明显，因此根据此原理，使用基于特征点描述运动轨迹的3D稳像方法，选取特征点时，距离相机较近的目标特征点应较为稠密，距离远的目标特征点相对稀疏，在充分还原近距离目标的放缩变换的同时，又提高了算法的处理速度。

[0054] d)对图像进行分块，并在各块区域内进行特征点追踪：

[0055] 由于图像中心区域一般包含信息较多，因此先将整幅图像分为中心区域和边缘区域，再将各区域分割成大小相同的n*n块，为同时处理帧内及帧间的画面抖动，利用KLT跟踪器对输入的视频序列进行特征点的检测与跟踪。经典的KLT跟踪器使用了一个全局阈值来提取特征点，这可能会导致特征点的不均匀分布。为保证各块的局部运动矢量更接近真实的3D运动模型，希望每块中都能有足够的特征点来计算局部运动参数，在每块中计算一个局部阈值使其能检测到一定数量的特征点，并根据区域信息量大小以及特征点的置信度调整特征点数量，然后跟踪器会在后续帧中构建出它们的特征轨迹。当有部分轨迹中断时，跟踪器会重新提取新的特征点以维持恒定数量的特征轨迹。最后，使用RANSAC算法剔除错误的匹配点以及去除运动目标的干扰。前后两帧匹配成功的特征点分别如图2(A)和2(B)所示。

[0056] e)计算各块内的局部运动矢量，对相近矢量进行聚类分析：

[0057] 当获取足够数量的特征点，通过特征点帧间的位置变化计算特征点的运动矢量，将特征点的运动矢量相似的块进行聚类，最终将图像分割成m个子块。

[0058] f)基于e)中分割各块的局部运动矢量，对每一块分别进行运动补偿，再对分隔区域进行图像融合保证图像的平滑。稳像前后对比图如图3所示。

[0059] 发明的优点和有益效果：

[0060] 本发明采用先进的稳像算法和装置，能够在视频录制和播放的同时进行实时稳像处理，大幅提升了相机拍摄到的视频质量。与传统方法相比，本发明更具鲁棒性，能够在恶劣气象和高速飞行等复杂环境中稳定地处理视频信号，确保输出稳定、清晰的图像。发明中采用的自适应稳像算法能够根据飞行状态和环境条件实时调整参数，适应不同场景，提高了稳像系统的智能化水平。发明中的稳像装置采用轻量化设计，有效减轻了装载负担，对飞机整体性能的影响较小。本发明的稳像方法和装置具有较强的通用性，能够适配多种类型的摄像头，为不同型号和品牌的民航飞机提供了灵活的选择。

[0061] 综上所述，本发明的面向民航飞机的视频实时稳像方法及装置，通过创新性的设计和技术手段，全面提升了民航飞机的视频稳像性能，为提高飞行安全性带来显著的优势。