[0001] 本申请涉及导航与辅助驾驶技术领域，具体而言，涉及一种车辆的位姿数据更新方法、装置及车辆。

[0002] 随着技术不断演进和产品持续完善，高级辅助驾驶服务也越来越为广大用户所认可。其中搭载NOA的汽车产品也陆续发布，但是当高阶智能驾驶开进城市开放道路，对其背后的地图产品，呈现一种新的态势，一般而言，高精度地图的使用，对其鲜度提出更高的要求，同时也会带来成本的增加，而仅依赖导航地图又难以弥补车端感知的局限，高辅地图（高级辅助驾驶地图）应运而生，为导航地图和高精地图的中间产品。

[0003] 在现有的技术中，基于高精度地图语义特征的融合定位技术，由高精度地图引擎播发道路标记、交通信号灯、交通标志牌、电线杆等3D语义特征，然后将相机采集的图像预处理后，通过卷积神经网络训练输出标志物，通过将传感器获取的数据与地图数据进行关联，输出地图相对位姿，最后基于GNSS/INS组合导航、轮速计建立多源融合滤波定位模型。这种方法基于较为成熟的滤波理论，实现方式简单快捷，但是高精地图一方面带来的过高技术成本和更新周期，另外对感知、规控和定位提出了过高的要求，超出工程现实；同时滤波模型因为要满足一阶马尔科夫假设，没有考虑历史信息，在一些具有挑战的场景下，不能有效辅助当前状态估计。

[0004] 基于端到端的“无图”自动驾驶技术，不依赖于预先制作的高精度地图，而是基于导航地图，直接从车辆的传感器输入（如摄像头、激光雷达、毫米波雷达等）进行实时的环境感知和决策控制。这种技术的核心是使用深度学习模型，将传感器数据转换为车辆的驾驶行为，包括但不限于路径规划、避障、速度控制等。这种方法虽然具备更强的泛化性，不依赖高精度地图可以减少对地图数据采集和更新的依赖，从而降低成本，但是其面临着数据的分布和多样性的致命缺陷，同时在未知或复杂道路情况下存在安全风险。

[0005] 因此，本申请提供了一种车辆的位姿数据更新方法、装置及车辆，以解决上述技术问题之一。

[0017] 为了使本申请的目的、技术申请和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

[0018] 在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

[0019] 应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

[0020] 应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述，但这些描述不应限于这些术语。这些术语仅用来将描述区分开。例如，在不脱离本申请实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。

[0021] 取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

[0022] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

[0023] 特别需要说明的是，在说明书中存在的符号和/或数字，如果在附图说明中未被标记的，均不是附图标记。

[0024] 下面结合附图详细说明本申请的可选实施例。

[0025] 对本申请提供的实施例，即一种车辆的位姿数据更新方法的实施例。

[0026] 下面结合图1对本申请实施例进行详细说明。

[0027] 图1示出了根据本申请实施例的车辆的位姿数据更新方法的流程图，如图1所示，包括以下步骤S101至步骤S105。

[0028] 在步骤S101中，获取基于高级辅助驾驶地图得到的第一坐标数据。

[0029] 其中，第一坐标数据包括第一坐标点数据和第一语义标签数据，各第一坐标点数据基于第一语义标签数据标注。

[0030] 上述实施例中，高级辅助驾驶地图一般指服务于智能网联汽车L3级及以下自动驾驶系统的地图，属于导航电子地图的一种，其在传统导航电子地图道路属性的基础上，增加了高级驾驶辅助功能必需的交通设施、交通标识以及道路的坡度、曲率等属性信息，能够帮助实现高级驾驶辅助功能。相较于高精地图，高级辅助驾驶地图具有更低的制图成本，且在辅助驾驶功用上能够达到与高精地图持平甚至优于高精地图的水平。

[0031] 在步骤S102中，获取车辆感知的第二坐标数据。

[0032] 其中，第二坐标数据包括第二坐标点数据和第二语义标签数据，各第二坐标点数据基于第二语义标签数据标注。

[0033] 本申请中，步骤S101与步骤S102执行顺序并不固定，例如可以是先执行步骤S102再执行步骤S101，或者是步骤S101与步骤S102同时执行，上述先执行步骤S101再执行步骤S102仅是一示例性实施例。

[0034] 在步骤S103中，将第一坐标数据作为目标点云，将第二坐标数据作为源点云，对目标点云与源点云进行基于地图匹配的里程计计算，得到第一位姿数据。

[0035] 示例的，第一位姿数据可以通过旋转量及平移量表示。

[0036] 进一步的，考虑通过构建优化模型的方式提高位姿精度。其中，优化模型考虑的残差可包括里程计残差、惯性测量单元（Inertial Measurement Unit，IMU）预积分残差、以及全球导航卫星系统（Global Navigation Satellite System，GNSS）数据残差。

[0037] 在步骤S104中，构建优化模型。

[0038] 其中，优化模型由里程计残差、IMU预积分残差、以及GNSS数据残差组成。

[0039] 一实施方式中，可以通过第一位姿数据构建得到里程计残差。

[0040] 一实施方式中，可以通过IMU输出的姿态信息得到IMU预积分残差。

[0041] 一实施方式中，可以通过全球导航卫星系统提供的导航数据得到GNSS数据残差。其中，全球导航卫星系统例如可以是基于实时差分定位（Real ‑ time kinematic，RTK）的全球导航卫星系统。

[0042] 在步骤S105中，按照优化模型当前输出的第二位姿数据，对车辆的运动偏移进行预测，得到车辆在下一时刻的目标位姿数据，目标位姿数据用于表征车辆在下一时刻的位姿。

[0043] 本申请提供的车辆的位姿数据更新方法，一方面由高级辅助驾驶地图得到全局坐标系下的坐标数据及语义标签，另一方面由车辆感知得到车身坐标系下的坐标数据及语义标签，进而通过里程计匹配方式进行坐标融合，得到第一位姿数据。在此基础上，通过考虑多方面影响，分别设计了里程计残差、惯性测量单元IMU预积分残差、以及全球导航卫星系统GNSS数据残差，进而通过多项残差构建优化模型，进而输出第二位姿数据。在此基础上，以第二位姿数据进行高精度的运动偏移预测，以输出车辆在下一时刻的位姿。其中，通过车端数据与地图端数据的融合，保证了位姿预测的精度，并通过在此基础上通过优化模型对位姿进行了精度加强，以使位姿预测保有较高的精度。同时，数据采用了高级辅助驾驶地图，较使用高精地图进行数据融合及位姿预测的方式，制图成本更低。综上，本申请提供了一种低成本、高精度的位姿预测申请。

[0044] 示例的，基于地图匹配的里程计计算方式包括。

[0045] 其中，第一位姿数据基于 和 表征， 表示最优旋转量， 表示最优平移量，k表示时刻标识，S表示当前特征点集合，v表示第二坐标数据标识，w表示第三坐标数据标识，表示k时刻下第二坐标数据的横坐标， 表示k时刻下第二坐标数据的纵坐标， 表示k时刻下第一坐标数据的横坐标， 表示k时刻下第一坐标数据的纵坐标，r表示当前帧的旋转量，t是当前帧的平移量，R表示r的旋转矩阵。

[0046] 示例的，优化模型如下，。

[0047] 其中， 表示IMU预积分残差，表示里程计残差， 表示GNSS数据残差， 表示状态向量，
，表示状态向量考虑了n个位姿数， ， 、 表示
时刻的三个位姿分量， ，表示自然数集合，表示Huber核函数， 表示IMU因子
的信息矩阵， 表示IMU预积分观测量， 表示匹配里程计的信息矩阵， 表示匹
配里程计观测量， 表示RTK‑GNSS的信息矩阵， 表示RTK‑GNSS的观测量。

[0048] 本申请中还可以通过提供先验位姿的方式，加速基于地图匹配的里程计计算。

[0049] 图2示出了一种对目标点云与源点云进行基于地图匹配的里程计计算的方法流程图，如图2所示，包括以下步骤S201至步骤S203。

[0050] 在步骤S201中，获取车辆的轮速编码器输出的位置信息，以及IMU输出的姿态信息。

[0051] 在步骤S201中，将位置信息与姿态信息进行融合处理，得到第三位姿数据。

[0052] 在步骤S203中，将第一坐标数据作为目标点云，将第二坐标数据作为源点云，并将第三位姿数据作为先验位姿数据，对目标点云与源点云进行基于地图匹配的里程计计算。

[0053] 本申请通过第三位姿数据提供先验位姿，节省计算成本的同时加速里程计计算，提高了位姿预测的及时性。

[0054] 本申请中，通过第一位姿数据，表征同一点位下，由第一坐标点数据移动至第二坐标点数据所需的旋转量及平移量，相当于在第一坐标点数据与第二坐标点数据之间建立了匹配关系。在此基础上，进一步考虑通过同一点位在不同坐标点数据下对应的语义标签数据，进行语义匹配，用以进一步描述第一位姿数据的准确性。

[0055] 图3示出了一种对第一位姿数据进行核验的方法流程图，如图3所示，包括以下步骤S301、步骤S302a、及步骤S302b。

[0056] 在步骤S301中，针对通过第一位姿数据标定为同一点位的各坐标点数据组，分别将各坐标点数据组对应的第一语义标签数据与第二语义标签数据进行标签匹配。

[0057] 其中，各坐标点数据组中，每个坐标点数据组包括一个第一坐标点数据和一个第二坐标点数据，每个坐标点数据组对应了一个第一语义标签数据和一个第二语义标签数据。

[0058] 在步骤S302a中，响应于目标坐标点数据组在各坐标点数据组中的占比未超过预设占比，将第三位姿数据作为第一位姿数据，构建里程计残差。

[0059] 其中，目标坐标点数据组为第一语义标签数据与第二语义标签数据之间相匹配的坐标点数据组。

[0060] 在步骤S302b中，响应于目标坐标点数据组在各坐标点数据组中的占比超过预设占比，保留第一位姿数据，沿用第一位姿数据构建里程计残差。

[0061] 示例的，预设占比，例如可设置为95%。

[0062] 本申请中，在构建所述优化模型之前，语义标签数据之间的匹配实现对第一位姿数据的核验。当目标坐标点数据组在各坐标点数据组中的占比未超过95%时，说明第一位姿数据的描述性不够好、不够准确，此时采用第三位姿数据，同时调用RTK‑GNSS来重定位。

[0063] 本申请中，车辆配置有鱼眼相机。示例的，可以通过鱼眼相机获取视觉数据，并通过一系列处理，得到第二坐标数据。

[0064] 图4示出了一种得到车辆感知的第二坐标数据的方法流程图，如图4所示，包括以下步骤S401和步骤S402。

[0065] 在步骤S401中，基于配置于车辆的鱼眼相机获取视觉数据。

[0066] 在步骤S402中，对视觉数据进行目标检测及语义特征提取，并基于逆透视变换，将提取后的数据投影至车辆坐标系，得到第二坐标数据。

[0067] 示例的，鱼眼相机例如可以包括配置于车辆前侧的第一相机、配置于车辆左侧的第二相机、配置于车辆右侧的第三相机、以及配置于车辆后侧的第四相机。本申请可以通过设置鱼眼相机调用规则，得到符合需求的视觉数据。

[0068] 图5示出了一种基于配置于车辆的鱼眼相机获取视觉数据的方法流程图，如图5所示，包括以下步骤S501至步骤S503b。

[0069] 在步骤S501中，确定与车辆之间距离最小的障碍点。

[0070] 在步骤S502中，确定与障碍点之间距离最小的目标相机，目标相机为第一相机、第二相机、第三相机、或第四相机。

[0071] 示例的，可以按照可行驶区域检测（freespace）输出的最近点与车身坐标系下的车身轮廓点大小的比较结果，确定与障碍点之间距离最小的目标相机。

[0072] 在步骤S503a中，响应于目标相机为第一相机或第四相机，基于第二相机和第三相机获取视觉数据。

[0073] 在步骤S503b中，响应于目标相机为第二相机或第三相机，基于第一相机和第四相机获取视觉数据。

[0074] 作为一些其他可行实施例，也可以是响应于目标相机为第一相机基于第四相机获取视觉数据，或是响应于目标相机为第四相机基于第一相机获取视觉数据。

[0075] 本申请中，规避与障碍点之间距离最小的相机，以保证相机与障碍点之间具有足够的距离，以获取视野足够的视觉数据，进而保证车辆感知及处理具有易得性。

[0076] 本申请提供的方法，利用搭载全景鱼眼相机、IMU等传感器的车辆生产的高级辅助驾驶地图，自车根据实时感知结果按照一定的规则调用鱼眼相机接口进行语义特征提取，以备更多的计算资源调用因子图优化模型完成位姿估计。

[0077] 一种实施方式中，可通过gtsam库构建因子图优化模型，建立一个批优化代价函数，然后将所有的历史信息和当前信息联合优化生成六自由度的位姿，从而实现一种低成本、低延迟、高精度的自动驾驶融合定位。

[0078] 本申请的目的在于提供一种基于高级辅助驾驶地图的高精度融合定位，以克服基于高精度地图的定位带来的高成本问题，又能解决基于导航地图的无图智驾技术中存在的数据缺失多样性问题，同时又能在自车不新增传感器基础上，通过按需调用鱼眼相机的方式，联合因子图优化得到车端位姿，从而保持低成本、低算力，提高定位精度。

[0079] 作为优选，如下示出了本申请的一种实现方案，包括步骤一至步骤七。

[0080] 一、地图语义特征接收。通过高级辅助驾驶地图引擎接收本车前方2km，后方500m范围内播发的车道线、人行横道、地面标志和停止线等地图元素，并存储其轮廓点坐标及语义标签ID，播发频率按50hz发布且将该帧输出的轮廓点视为一帧2D点云，且按照一定的聚类规则，每个聚类携带语义标签信息。

[0081] 二、鱼眼相机检测。车辆装配的全景鱼眼相机，可根据自车可行驶区域检测的感知结果按照一定规则来控制并调用需要用于检测的鱼眼相机接口（即，在多个鱼眼相机中选择需要获取视觉数据的部分相机），针对视觉图像信息可以采用深度学习模型YOLOV8实时对上述目标物体检测与语义特征的提取，经逆透视变换投影至车辆坐标系下的地平面上，提取轮廓坐标点及语义标签ID。鱼眼相机调用规则：1、前后鱼眼相机均遮挡，仅调用左右鱼眼相机。2、前鱼眼相机遮挡，仅调用后鱼眼相机3、后鱼眼相机遮挡，仅调用前鱼眼相机。其中，遮挡的条件可以按照自车可行驶区域检测输出的最近点与车身坐标系下的车身轮廓点大小进行比较得到，车身坐标系的建立遵循右手法则，X轴指向车辆前进方向，Y轴指向车辆左侧，Z轴指向车辆天空。

[0082] 三、惯性解算。基于RTK‑GNSS提供初始绝对定位数据，将轮速编码器输出的位置信息和IMU输出的姿态信息进行融合，以获得更加准确、更可靠的姿态和位置信息，可为后续地图匹配过程提供先验位姿。

[0083] 四、语义特征关联与匹配。将高级辅助驾驶地图引擎接收的语义特征点轮廓坐标点集合（即本申请上述第一坐标数据）作为目标点云，鱼眼相机实时检测的语义特征轮廓点集合作为源点云（即本申请上述第二坐标数据），通过惯性解算提供预测先验值，调用统一迭代最近点算法（Generalized‑lterative Closest Point，GICP）实现基于地图匹配的里程计计算，计算公式以 表示。其中， 表示最优旋转量， 表示最优平移量，k表示时刻标识，S表示当前特征点集合，v表示第二坐标数据标识，w表示第三坐标数据标识， 表示k时刻下第二坐标数据的横坐标， 表示k时刻下第二坐标数据的纵坐标， 表示k时刻下第一坐标数据的横坐标， 表示k时刻下第一坐标数据的纵坐标，r表示当前帧的旋转量，t是当前帧的平移量，R表示r的旋转矩阵。在计算时， 是当前特征点在车身坐标系下位置， 是全局坐标系下与特征匹配
的最近点。

[0084] 五、 匹配准确度判断。通过S4完成匹配得到车辆与地图的相对位姿关系后，可以通过语义标签ID来进一步验证匹配的准确度。如果准确度低于95%，则采用先验位姿，同时调用RTK‑GNSS来重定位。

[0085] 六、构建优化模型。一般而言，具有基础结构的窗口优化模型通过表示。其中，是残差，是残差关于状态量的雅可比， 是信息矩
阵， 为 的转置矩阵， 为优化变量。

[0086] 在此基础上，本申请中考虑匹配里程计相对位姿和优化变量的残差（即本申请上述里程计残差）、IMU预积分和优化变量的残差（即本申请上述IMU预积分残差）、RTK‑GNSS形成的先验因子对应的残差（即本申请上述GNSS数据残差），具体地涉及各个因子的残差构建以及雅可比矩阵计算。进而，作为一种可行实施例，考虑通过滑动窗口方式进行逐帧优化，例如将优化模型设置为 ；其中， 表示IMU预积分残差， 表示里
程计残差， 表示GNSS数据残差，表示状态向量， ，
表示状态向量考虑了n个位姿数， ， 、 表示 时刻的三个位姿分
量， ，表示自然数集合，表示Huber核函数， 表示IMU因子的信息矩阵，
表示IMU预积分观测量， 表示匹配里程计的信息矩阵， 表示匹配里程计观测量，表示RTK‑GNSS的信息矩阵， 表示RTK‑GNSS的观测量。

[0087] 七、位姿发布。优化模型实时输出的当前帧的位姿，参考自车运动学模型，计算当前时间到最新位姿对应的时间内车辆的运动偏移，发布预测得到的车辆在下一时刻的位姿数据。

[0088] 本申请中，优化模型的处理逻辑可通过因子图表示。

[0089] 图6示出了一种用于表征本申请优化模型处理逻辑的因子图。

[0090] 示例的，如图6所示，本申请考虑了匹配里程计相对位姿和优化变量的残差（即本申请上述里程计残差）、IMU预积分和优化变量的残差（即本申请上述IMU预积分残差）、RTK‑GNSS形成的先验因子对应的残差（即本申请上述GNSS数据残差），分别设置了匹配里程计因子、RTK‑GNSS因子、以及IMU与积分因子。优化模型按照窗口滑动方式进行图优化，由左至右逐帧更新位姿。并且，滑动窗口内包含了延时序排布的多个位姿，具体包括已优化位姿和待优化位姿，与待优化位姿相邻的已优化位姿可用于作为位姿优化的参考位姿。其中，每一个IMU预积分因子用于干预两个待优化位姿，每一个匹配里程因子用于干预两个待优化位姿，每一个TTK‑GNSS因子用于干预一个待优化位姿。本申请中，在进行图优化时为了保持实时性，对优化变量的维度控制在一定的程度的操作，对应的就是滑动窗口的处理，滑动窗口输出的。

[0091] 本申请还提供了与上述实施例承接的装置实施例，用于实现如上实施例的方法步骤，基于相同的名称含义的解释与如上实施例相同，具有与如上实施例相同的技术效果，此处不再赘述。

[0092] 图7示出了根据本申请实施例的车辆的位姿数据更新装置的单元框图。

[0093] 如图7所示，车辆的位姿数据更新装置包括获取单元701和处理单元702。获取单元701，获取基于高级辅助驾驶地图得到的第一坐标数据，第一坐标数据包括第一坐标点数据和第一语义标签数据，各第一坐标点数据基于第一语义标签数据标注。
以及用于获取车辆感知的第二坐标数据，第二坐标数据包括第二坐标点数据和第二语义标签数据，各第二坐标点数据基于第二语义标签数据标注。

[0094] 处理单元702，用于将第一坐标数据作为目标点云，将第二坐标数据作为源点云，对目标点云与源点云进行基于地图匹配的里程计计算，得到第一位姿数据。用于基于第一位姿数据，构建里程计残差。用于基于车辆的惯性测量单元IMU输出的姿态信息，构建IMU预积分残差。用于基于实时差分定位全球导航卫星系统RTK‑GNSS输出的定位数据，构建GNSS数据残差。用于基于里程计残差、IMU预积分残差、以及GNSS数据残差，构建优化模型。以及用于按照优化模型当前输出的第二位姿数据，对车辆的运动偏移进行预测，得到车辆在下一时刻的目标位姿数据，目标位姿数据用于表征车辆在下一时刻的位姿。

[0095] 一种实施方式中，采用如下公式基于地图匹配的里程计计算，得到第一位姿数据：。

[0096] 其中，第一位姿数据基于 和 表征， 表示最优旋转量， 表示最优平移量，k表示时刻标识，S表示当前特征点集合，v表示第二坐标数据标识，w表示第三坐标数据标识，表示k时刻下第二坐标数据的横坐标， 表示k时刻下第二坐标数据的纵坐标， 表示k时刻下第一坐标数据的横坐标， 表示k时刻下第一坐标数据的纵坐标，r表示当前帧的旋转量，t是当前帧的平移量，R表示r的旋转矩阵。

[0097] 一种实施方式中，优化模型包括：。其中，
表示IMU预积分残差， 表示里程计
残差， 表示GNSS数据残差，表示状态向量， ，表示
状态向量考虑了n个位姿数， ， 、 表示 时刻的三个位姿分量，
，表示自然数集合，表示Huber核函数， 表示IMU因子的信息矩阵， 表
示IMU预积分观测量， 表示匹配里程计的信息矩阵， 表示匹配里程计观测量，表示RTK‑GNSS的信息矩阵， 表示RTK‑GNSS的观测量。

[0098] 一种实施方式中，获取单元701还用于：获取车辆的轮速编码器输出的位置信息，以及IMU输出的姿态信息。处理单元702还用于：将位置信息与姿态信息进行融合处理，得到第三位姿数据。处理单元702采用如下方式将第一坐标数据作为目标点云，将第二坐标数据作为源点云，对目标点云与源点云进行基于地图匹配的里程计计算：将第一坐标数据作为目标点云，将第二坐标数据作为源点云，并将第三位姿数据作为先验位姿数据，对目标点云与源点云进行基于地图匹配的里程计计算。

[0099] 一种实施方式中，处理单元702还用于：针对通过第一位姿数据标定为同一点位的各坐标点数据组，分别将各坐标点数据组对应的第一语义标签数据与第二语义标签数据进行标签匹配。其中，各坐标点数据组中，每个坐标点数据组包括一个第一坐标点数据和一个第二坐标点数据，每个坐标点数据组对应了一个第一语义标签数据和一个第二语义标签数据。响应于目标坐标点数据组在各坐标点数据组中的占比未超过预设占比，将第三位姿数据作为第一位姿数据，构建里程计残差。其中，目标坐标点数据组为第一语义标签数据与第二语义标签数据之间相匹配的坐标点数据组。

[0100] 一种实施方式中，处理单元702获取车辆感知的第二坐标数据，包括：基于配置于车辆的鱼眼相机获取视觉数据。对视觉数据进行目标检测及语义特征提取，并基于逆透视变换，将提取后的数据投影至车辆坐标系，得到第二坐标数据。

[0101] 一种实施方式中，鱼眼相机包括配置于车辆前侧的第一相机、配置于车辆左侧的第二相机、配置于车辆右侧的第三相机、以及配置于车辆后侧的第四相机。处理单元702采用如下方式基于配置于车辆的鱼眼相机获取视觉数据：确定与车辆之间距离最小的障碍点。确定与障碍点之间距离最小的目标相机，目标相机为第一相机、第二相机、第三相机、或第四相机。响应于目标相机为第一相机或第四相机，基于第二相机和第三相机获取视觉数据。响应于目标相机为第二相机或第三相机，基于第一相机和第四相机获取视觉数据。

[0102] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

[0103] 本申请还提供了与上述实施例承接的系统实施例，用于实现如上实施例的方法步骤，基于相同的名称含义的解释与如上实施例相同，具有与如上实施例相同的技术效果，此处不再赘述。

[0104] 本申请提供的系统可分为三个部分：传感器数据预处理模块、语义特征关联匹配模块、和因子图优化模型构建模块。其中，传感器数据预处理模块主要是对数据级数据的处理从而得到目标级的定位结果，一方面接收高辅助地图引擎数据播发一定范围内的车道线、人行横道、地面标志及停止线等轮廓点数据。另一方面按照一定规则调用逆透视变换后的鱼眼相机接口通过神经网络模型实时检测上述语义特征，同时基于GPS提供的初始绝对位姿、轮速编码器和IMU完成车辆惯性推算，可以作为先验信息可以帮助缩小搜索范围，提高数据关联的准确性。语义特征关联匹配模块首先对鱼眼相机实时检测出来的语义特征抽取轮廓点，然后从语义标签及坐标值两个维度与高级辅助驾驶地图语义特征进行关联，进一步采用GICP匹配算法得到车辆当前帧与局部高级辅助驾驶地图的相对位姿。其中使用惯性推算结果来提供的较为准确的先验估计来辅助数据关联与匹配过程。因子图优化构建模块主要是一种紧耦合视觉‑惯性里程计的方法，主要是通过联合优化包含视觉‑地图匹配里程计因子，IMU预积分因子、RTK‑GNSS因子得到车辆全局一致性的位姿。

[0105] 本申请的核心技术点主要集中在以下几个方面。1）低成本传感器集成：利用城市出租车搭载的全景鱼眼相机、IMU等低成本传感器，实现高精度定位，降低了对昂贵设备的依赖。2）云端众包轻地图生产：通过云端众包方式，利用大量低成本车辆收集的数据生产轻地图，提高了地图数据的覆盖范围和更新频率。3）实时语义特征提取：自车根据实时感知结果，调用鱼眼相机接口进行语义特征提取，为后续的位姿估计提供关键信息。4）因子图优化模型：构建因子图优化模型，融合地图匹配因子、RTK‑GNSS因子和IMU预积分因子，提高了位姿估计的准确性。5）历史与当前信息联合优化：通过批优化代价函数，结合历史信息和当前信息进行联合优化，生成六自由度的精确位姿。6）模块化系统设计：系统分为传感器数据预处理模块、语义特征关联匹配模块和因子图优化模型构建模块，实现了功能的清晰划分和高效协同。7）先验信息辅助：利用基于GPS、轮速编码器和IMU的DR推算结果作为先验信息，提高数据关联的准确性和匹配过程的效率。8）GICP匹配算法：采用GICP算法实现车辆当前帧与局部高辅地图之间的相对位姿匹配，提高了匹配的精度和鲁棒性。9）融合结构设计：综合考虑了视觉‑地图匹配里程计因子、IMU预积分因子和RTK‑GNSS因子，实现了紧耦合的视觉‑惯性里程计。10）滑动窗口优化：通过滑动窗口技术，实现了优化模型的实时更新和关键帧位姿的优化，保证了系统的实时性和稳定性。这些核心技术点共同构成了本申请的高精度融合定位，实现了低成本、低延迟、高精度的自动驾驶定位技术，具有广泛的应用前景和市场潜力。

[0106] 本申请具有以下有益效果。1）成本效益：通过使用低成本的城市出租车搭载的全景鱼眼相机、IMU等传感器，配合云端众包方式生产的轻地图，大幅降低了高精度定位系统的硬件成本。2）实时性：自车根据实时感知结果及时调用鱼眼相机接口进行语义特征提取，确保了系统的响应速度和实时性。3）优化算法：基于因子图建立的批优化代价函数，通过联合优化历史信息和当前信息，提高了定位的准确性和可靠性。4）模块化设计：系统设计为传感器数据预处理模块、语义特征关联匹配模块和因子图优化模型构建模块，各模块分工明确，易于维护和升级。5）数据关联准确性：通过DR推算提供的先验信息，缩小搜索范围，提高数据关联的准确性。6）鲁棒性：系统能够利用语义特征的实时检测和地图匹配，即使在GPS信号受限的城市峡谷或室内环境中也能保持稳定的定位性能。7）灵活性：通过按需调用鱼眼相机的方式，系统能够灵活适应不同的驾驶场景和条件。8）扩展性：云端众包方式生产的轻地图可以不断更新和扩展，支持更多种类的道路和环境信息。9）自主性：系统能够在自车不新增传感器的基础上，实现车端位姿的自主计算和优化，减少了对外部系统的依赖。10）低延迟：通过滑动窗口的优化和实时更新，系统能够快速发布位姿数据，满足自动驾驶对低延迟的高要求。11）高精度与低算力的平衡：在保持高精度定位的同时，优化算法减少了对计算资源的需求，适用于计算能力有限的车载平台。

[0107] 本申请还提供了与上述实施例承接的车辆，用于实现如上实施例的方法步骤，基于相同的名称含义的解释与如上实施例相同，具有与如上实施例相同的技术效果，此处不再赘述。

[0108] 尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

[0109] 本申请的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

[0110] 出于示例和描述的目的，已经给出了本申请实施的前述说明。前述说明并非是穷举性的也并非要将本申请限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本申请的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本申请的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本申请。

[0111] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

[0112] 进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。

[0113] 进一步可以理解的是，本申请实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

[0114] 本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施申请。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本申请领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利范围指出。

[0115] 应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利范围来限制。

[0116] 以上实施例仅用以说明本申请的技术申请，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术申请进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术申请的本质脱离本申请各实施例技术申请的精神和范围。