技术领域
[0001] 本申请实施例涉及智能驾驶技术领域，尤其涉及一种障碍物检测方法、装置、电子设备及存储介质。
相关背景技术
[0002] 在自动驾驶领域，常用的障碍物检测传感器有摄像头、毫米波雷达、激光雷达等。传感器需要在不同的，通常是不利的环境条件下保持其精度和鲁棒性。大多数传感器只能满足这些要求中的一个，无法同时满足这两个要求。例如，相机系统产生精确的环境图像，但在光线不足的情况下非常敏感。雷达传感器满足鲁棒性要求，但精度远低于相机。激光雷达提供高分辨率，但价格昂贵且对天气和大气条件敏感。相比之下，毫米波雷达成本更低，对环境因素的鲁棒性更强。即使在恶劣的环境条件下，毫米波雷达也显示出强大的功能，有助于准确快速地获取障碍物的目标属性，包括速度、距离等。因此，基于毫米波雷达和摄像头的多传感器融合技术已成为自动驾驶中障碍物检测的关键途径。通过结合不同传感器的优点，多传感器融合可以克服单个传感器的局限性，获得更好的障碍物检测性能。
[0003] 相关技术中，通过多模态拼接数据作为网络输入，并使用单模态图像作为真实数据来优化生成器网络的训练，这通常会使生成的图像偏向于某个单模态图像特征，而忽略两种模态之间的相关性，导致障碍物检测结果容易受到雷达噪声、视觉模糊等干扰因素的影响，从而导致检测的准确性降低。
具体实施方式
[0071] 下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
[0072] 图1是本申请实施例提供的一种障碍物检测方法的步骤流程图，如图1所示，该方法可以包括：
[0073] 步骤101，通过毫米波雷达和相机分别采集车辆周围对应的原始毫米波雷达数据和相机图像；
[0074] 需要说明的是，在本申请实施例中，为了保证对障碍物检测的准确性，因此，需要考虑到两种模态之间的相关性，即毫米波雷达数据和相机图像，具体，参照图6，通过毫米波雷达和相机分别采集车辆周围对应的原始毫米波雷达数据和相机图像。
[0075] 步骤102，将所述原始毫米波雷达数据进行预处理，得到毫米波雷达图像；
[0076] 进一步地，所述将所述原始毫米波雷达数据进行预处理，得到毫米波雷达图像包括：
[0077] 将所述原始毫米波雷达数据映射至图像平面中，得到毫米波雷达图像。
[0078] 需要说明的是，在本申请实施例中，对毫米波雷达数据进行处理，将雷达数据作为单个像素点投射到图像平面上。
[0079] 具体的，首先对毫米波雷达数据进行处理。需要建立雷达坐标系、世界坐标系和图像坐标系之间的坐标变换关系，将雷达数据投影到图像平面上。为了将雷达数据投影到图像中的相应位置，需要进行多次坐标变换。首先，将雷达坐标系中的雷达点旋转并转化为世界坐标系。然后，通过另一次旋转和平移，将它们转换为相机坐标系。最后，利用相机的固有参数将相机坐标转换为图像坐标。雷达点从雷达坐标系到世界坐标系的转换可以表示为:
[0080]
[0081] 其中，上述公式1中，[Xr,Yr,1]T和[Xw,Yw,1]T分别表示雷达点在雷达坐标系和世界坐标系中的坐标。R1和T1是变换过程中的旋转平移矩阵。雷达探测扫描平面是二维平面，可以获得目标的X、Y坐标信息，但缺乏目标的Z坐标信息。因此，此时得到的世界坐标系中的坐标也是二维的。缺失的Z坐标信息可以由先验知识给出。在获得世界坐标系中的X、Y、Z坐标后，将其从世界坐标系转换为图像坐标系，表示为:
[0082]
[0083] 其中，上述公式2中，[Xw,Yw,Zw,1]T为世界坐标系中的X,Y,Z坐标。[Xi,Yi,1]T为雷达点在图像坐标系中的坐标。R2和T2表示旋转和平移矩阵。
[0084] 通过上述过程，可以将雷达原始数据映射到图像平面上。在该图像中，雷达特征以像素值的形式存储在投影图像中。然而，雷达数据作为单个像素点投射到图像平面上，缺乏关于物体高度和宽度的信息。这对提取雷达特征提出了挑战，同时将数据输入网络，最终影响性能。因此，为了解决这个问题，可以假设雷达探测到的三维坐标是从地面返回的，沿着垂直于地面的方向扩展雷达投影，并将雷达高度扩展到2.5m，并将其映射到像面上，像素宽度为1。
[0085] 步骤103，获取所述毫米波雷达图像和所述相机图像分别对应的目标毫米波雷达图像特征和目标相机图像特征；
[0086] 需要说明的是，传统的GAN由两个对抗模型组成，一个生成器和一个鉴别器。因此，在本申请实施例中是基于多模态融合的双鉴别器多对抗学习模型。
[0087] 为了实现毫米波雷达和相机图像特征的充分融合，融合检测模型必须考虑到两个源信息的互补性，并能够自适应地调整或重新加权所提供的信息，因此我们在生成器中首先构建了一种模态相似性生成模块，来获取毫米波雷达图像和相机图像分别对应的目标毫米波雷达图像特征和目标相机图像特征，结构如图7所示。
[0088] 步骤104，将所述目标毫米波雷达图像特征和所述目标相机图像特征进行特征融合，得到目标图像融合特征；
[0089] 需要说明的是，在步骤103获取所述毫米波雷达图像和所述相机图像分别对应的目标毫米波雷达图像特征和目标相机图像特征后，在步骤104中需要基于相关度和这些特征进行特征融合。
[0090] 步骤105，基于所述原始毫米波雷达数据、所述相机图像以及所述目标图像融合特征构建多对抗学习模型；
[0091] 需要说明的是，对于多模态图像融合任务，使用包含不同目标和结构的原始毫米波雷达数据I1和相机图像I2作为生成器G的输入，构建了两种鉴别器，分别为第一鉴别器D1和第二鉴别器D2，进而构建多对抗学习模型。
[0092] 步骤106，基于所述多对抗学习模型确定所述车辆周围是否存在障碍物。
[0093] 需要说明的是，在本申请实施例中，在构建好多对抗学习模型后，可以基于多对抗学习模型进行对抗性学习，生成的图像可以保留原始图像丰富特征的同时，优化融合图像的生成，进而通过最终的融合图像实现对车辆周围障碍物的判别。
[0094] 具体的，生成器(Generator)尝试生成逼真的障碍物图像或数据，而鉴别器(Discriminator)则尝试区分真实数据和生成数据。在对抗性训练中，模型会尝试学习如何识别障碍物，同时对抗网络会尝试生成难以被检测到的障碍物数据。
[0095] 基于多对抗学习模型来确定车辆周围是否存在障碍物可以提高障碍物检测系统的鲁棒性和准确性。
[0096] 在本申请实施例中，通过毫米波雷达和相机分别采集车辆周围对应的原始毫米波雷达数据和相机图像；将所述原始毫米波雷达数据进行预处理，得到毫米波雷达图像；获取所述毫米波雷达图像和所述相机图像分别对应的目标毫米波雷达图像特征和目标相机图像特征；将所述目标毫米波雷达图像特征和所述目标相机图像特征进行特征融合，得到目标图像融合特征；基于所述原始毫米波雷达数据、所述相机图像以及所述目标图像融合特征构建多对抗学习模型；基于所述多对抗学习模型确定所述车辆周围是否存在障碍物。即本申请实施例中，通过对原始毫米波雷达数据的预处理实现和相机图像之间的特征提取融合，对双模态融合特征进行高效提取，进而基于原始毫米波雷达数据、相机图像以及目标图像融合特征构建双鉴别器的多对抗学习模型，以保证融合图像能够同时保持每个模态图像最重要的特征信息，最终实现复杂条件下障碍物的准确识别。
[0097] 图2是本申请实施例提供的另一种障碍物检测方法的步骤流程图，如图2所示，该方法可以包括：
[0098] 步骤201，通过毫米波雷达和相机分别采集车辆周围对应的原始毫米波雷达数据和相机图像；
[0099] 步骤202，将所述原始毫米波雷达数据进行预处理，得到毫米波雷达图像；
[0100] 需要说明的是，上述步骤201‑202中，参照前序论述，在此不再赘述。
[0101] 步骤203，获取所述毫米波雷达图像和所述相机图像之间特征的相关度；
[0102] 进一步地，所述获取所述毫米波雷达图像和所述相机图像之间特征的相关度包括：
[0103] 通过相同的预设骨干网络分别对所述毫米波雷达图像和所述相机图像进行特征提取，得到毫米波雷达特征图和相机图像特征图；
[0104] 将所述毫米波雷达特征图和所述相机图像特征图输入至模态相似性生成模块，得到所述毫米波雷达图像和所述相机图像之间特征的相关度。
[0105] 步骤204，根据所述相关度分配权重，得到目标毫米波雷达图像特征和目标相机图像特征；
[0106] 进一步地，所述相关度包括基于毫米波雷达图像的第一相关度，以及，基于所述相机图像的第二相关度，所述根据所述相关度分配权重，得到目标毫米波雷达图像特征和目标相机图像特征包括：
[0107] 根据所述第一相关度向所述毫米波雷达特征图分配第一权重，以及，根据所述第二相关度向所述相机图像特征图分配第二权重；
[0108] 根据所述第一权重和所述毫米波雷达特征图得到目标毫米波雷达图像特征，以及，根据所述第二权重和所述相机图像特征图得到目标相机图像特征。
[0109] 需要说明的是，在本申请实施例中，在生成器中，第一步，使用相同的骨干网络来提取毫米波雷达特征和相机图像特征，以提高模型的效率。
[0110] 具体的，可以通过VGG19分别对输入的毫米波雷达图像和相机图像中提取特征，然后得到毫米波雷达特征图H1和相机图像特征图H2，特征图大小均为(C×H×W)，通过利用深度网络从输入数据中提取语义信息的能力。然后将H1和H2输入到模态相似性生成模块，将H1和H2每个通道视为一个节点，(H×W)作为节点特征表示该通道在整个图像中信息。
[0111] 然后，通过图卷积操作来挖掘通道间的拓扑关系，用于更新通道之间的特征表示得到X和Y，特征图大小设为(C×H×W)。
[0112] 将更新后的特征进行相似性计算，计算两个模态(X和Y)之间的相关性，计算过程如下所示：
[0113]
[0114] 其中，上述公式3、4中S1和S2为两种模态之间的相关得分。两个模态特征映射的均值分别用μx和μy表示。L2范数用符号表示||||。
[0115] 然后为相关分数高的模态分配更多的权重，增加重要特征的权重，有助于提高障碍物识别准确率。AX为目标毫米波雷达图像特征和AY为目标相机图像特征，即AX和AY是最终的精炼输出。计算过程如下:
[0116] AX＝XS1(公式5)
[0117] AY＝YS2(公式6)
[0118] 通过模态相似性生成模块，改善了信息的单模态表示，挖掘毫米波雷达和相机两种模态之间的相似之处。
[0119] 步骤205，将所述目标毫米波雷达图像特征和所述目标相机图像特征输入至双层混合池化注意力模块，并通过双层并行进行特征融合，得到目标图像融合特征；
[0120] 需要说明的是，在本申请实施例中，构建双层混合池化注意力模块，其结构如图8所示。
[0121] 将生成的AX和AY作为双层混合池化注意力模块的输入，特征图大小均为(C×H×W),对双模态特征进行进一步的交互融合，采用双层并行的方式。
[0122] 具体的，第一层提取AX特征用于指导AY特征的交互融合，把全局最大池化和全局平均池化共同考虑，对AX的全局特征进行聚合，然后使用了1DCNN网络减少参数量的同时有效实现了的局部跨通道交互，生成的注意力系数,大小为(C×1×1)，用于指导AY的特征提取。
[0123] 第二层提取AY特征用于指导AX特征的交互融合，采用相同的处理方式对AY的全局特征进行聚合，然后使用了1DCNN网络对的局部跨通道交互，生成的注意力系数，大小为(C×1×1)，用于指导AX的特征提取。采用双层并行的方式可以增强不同模态之间的交互和信息传递，使得双模态特征能够更好地相互补充和协同工作。这有助于提取更具有丰富性和判别性的特征表示。
[0124] 进一步地，然后将第一层和第二层生成的特征进行相加融合，得到融合图像特征AXY。
[0125] 步骤206，基于所述原始毫米波雷达数据、所述相机图像以及所述目标图像融合特征构建多对抗学习模型；
[0126] 步骤207，基于所述多对抗学习模型确定所述车辆周围是否存在障碍物。
[0127] 需要说明的是，上述步骤206‑207中，参照前序论述，在此不再赘述。
[0128] 本申请实施例中，通过对原始毫米波雷达数据的预处理实现和相机图像之间的特征提取融合，对双模态融合特征进行高效提取，进而基于原始毫米波雷达数据、相机图像以及目标图像融合特征构建双鉴别器的多对抗学习模型，以保证融合图像能够同时保持每个模态图像最重要的特征信息，最终实现复杂条件下障碍物的准确识别。
[0129] 另外，本申请实施例中通过在生成对抗网络的生成器中设计了模态相似性生成模块，挖掘两种模式之间的相似之处，然后构建了双层混合池化注意力模块，并行提取模态信息之间的交互和信息传递，使得双模态特征能够更好地相互补充和协同工作。
[0130] 图3是本申请实施例提供的另一种障碍物检测方法的步骤流程图，如图3所示，该方法可以包括：
[0131] 步骤301，通过毫米波雷达和相机分别采集车辆周围对应的原始毫米波雷达数据和相机图像；
[0132] 步骤302，将所述原始毫米波雷达数据进行预处理，得到毫米波雷达图像；
[0133] 步骤303，获取所述毫米波雷达图像和所述相机图像分别对应的目标毫米波雷达图像特征和目标相机图像特征；
[0134] 步骤304，将所述目标毫米波雷达图像特征和所述目标相机图像特征进行特征融合，得到目标图像融合特征；
[0135] 需要说明的是，上述步骤301‑304中，参照前序论述，在此不再赘述。
[0136] 步骤305，将所述原始毫米波雷达数据和所述相机图像作为生成器的输入；
[0137] 步骤306，将所述原始毫米波雷达数据和所述目标图像融合特征作为第一鉴别器的输入；
[0138] 步骤307，将所述相机图像和所述目标图像融合特征作为第二鉴别器的输入；
[0139] 步骤308，基于所述生成器、所述第一鉴别器以及所述第二鉴别器构建多对抗学习模型；
[0140] 需要说明的是，在本申请实施例中，上述步骤305‑308中，构建双鉴别器的多对抗学习模型，构建过程如图9所示。
[0141] 对于多模态图像融合任务，使用包含不同目标和结构的原始毫米波雷达数据I1和相机图像I2作为生成器G的输入，构建了两种鉴别器D1和D2，即第一鉴别器和第二鉴别器。
[0142] 通过前序步骤304中生成可以使得鉴别器D1和D2认定正确的目标图像融合特征，即融合图像AXY，使用原始毫米波雷达图像和AXY作为第一鉴别器D1的输入，相机图像和AXY作为第二鉴别器D2的输入，生成两个可以反映输入数据是来自真实数据还是来自生成数据的概率。
[0143] 通过上述对抗性学习，生成的图像可以保留原始图像丰富特征的同时，优化融合图像的生成。
[0144] 其中，对于双鉴别器GAN目标函数可表示为：
[0145]
[0146] 其中，上述公式7中，其中G为生成器，D1和D2为两种鉴别器，鉴别器的参数优化过程就是一个将目标函数最大化的过程，即用 表示，所有对于生成器的优化就是一个目标函数最小化的过程，即用 表示。
[0147] 步骤309，基于所述多对抗学习模型确定所述车辆周围是否存在障碍物。
[0148] 本申请实施例中，通过对原始毫米波雷达数据的预处理实现和相机图像之间的特征提取融合，对双模态融合特征进行高效提取，进而基于原始毫米波雷达数据、相机图像以及目标图像融合特征构建双鉴别器的多对抗学习模型，以保证融合图像能够同时保持每个模态图像最重要的特征信息，最终实现复杂条件下障碍物的准确识别。
[0149] 另外，构建多对抗学习模型的优点在于它能够综合利用不同模态的数据(如毫米波雷达数据和相机图像)，通过生成器和鉴别器的对抗训练，提高障碍物检测的准确性和鲁棒性。这种模型能够学习到更丰富的特征表示，因为它不仅考虑了单一模态的数据，还考虑了模态间的交互和融合。此外，通过两个鉴别器的设置，模型可以分别评估雷达数据和图像数据在障碍物检测中的贡献，从而更好地理解不同模态数据之间的关系，优化特征融合策略。这种多对抗学习模型能够提高系统对复杂环境的适应能力，增强在不同光照、天气条件下的检测性能，并且有助于减少误检和漏检的情况。
[0150] 与上述本申请的障碍物检测方法实施例所提供的方法相对应，参见图4，本申请还提供了一种障碍物检测装置的装置框图，在本实施例中，该装置包括：
[0151] 采集模块401，用于通过毫米波雷达和相机分别采集车辆周围对应的原始毫米波雷达数据和相机图像；
[0152] 预处理模块402，用于将所述原始毫米波雷达数据进行预处理，得到毫米波雷达图像；
[0153] 获取模块403，用于获取所述毫米波雷达图像和所述相机图像分别对应的目标毫米波雷达图像特征和目标相机图像特征；
[0154] 融合模块404，用于将所述目标毫米波雷达图像特征和所述目标相机图像特征进行特征融合，得到目标图像融合特征；
[0155] 构建模块405，用于基于所述原始毫米波雷达数据、所述相机图像以及所述目标图像融合特征构建多对抗学习模型；
[0156] 障碍物确定模块406，用于基于所述多对抗学习模型确定所述车辆周围是否存在障碍物。
[0157] 可选地，所述获取模块包括：
[0158] 第一获取子模块，用于获取所述毫米波雷达图像和所述相机图像之间特征的相关度；
[0159] 第二获取子模块，用于根据所述相关度分配权重，得到目标毫米波雷达图像特征和目标相机图像特征。
[0160] 可选地，所述第一获取子模块包括：
[0161] 第一获取单元，用于通过相同的预设骨干网络分别对所述毫米波雷达图像和所述相机图像进行特征提取，得到毫米波雷达特征图和相机图像特征图；
[0162] 第二获取单元，用于将所述毫米波雷达特征图和所述相机图像特征图输入至模态相似性生成模块，得到所述毫米波雷达图像和所述相机图像之间特征的相关度。
[0163] 可选地，所述相关度包括基于毫米波雷达图像的第一相关度，以及，基于所述相机图像的第二相关度，所述第二获取子模块包括：
[0164] 第三获取单元，用于根据所述第一相关度向所述毫米波雷达特征图分配第一权重，以及，根据所述第二相关度向所述相机图像特征图分配第二权重；
[0165] 第四获取单元，用于根据所述第一权重和所述毫米波雷达特征图得到目标毫米波雷达图像特征，以及，根据所述第二权重和所述相机图像特征图得到目标相机图像特征。
[0166] 可选地，所述构建模块包括：
[0167] 第一构建子模块，用于将所述原始毫米波雷达数据和所述相机图像作为生成器的输入；
[0168] 第二构建子模块，用于将所述原始毫米波雷达数据和所述目标图像融合特征作为第一鉴别器的输入；
[0169] 第三构建子模块，用于将所述相机图像和所述目标图像融合特征作为第二鉴别器的输入；
[0170] 第四构建子模块，用于基于所述生成器、所述第一鉴别器以及所述第二鉴别器构建多对抗学习模型。
[0171] 可选地，所述预处理模块包括：
[0172] 预处理子模块，用于将所述原始毫米波雷达数据映射至图像平面中，得到毫米波雷达图像。
[0173] 可选地，所述融合模块包括：
[0174] 融合子模块，用于将所述目标毫米波雷达图像特征和所述目标相机图像特征输入至双层混合池化注意力模块，并通过双层并行进行特征融合，得到目标图像融合特征。
[0175] 综上，本申请实施例提供的一种障碍物检测装置，通过毫米波雷达和相机分别采集车辆周围对应的原始毫米波雷达数据和相机图像；将所述原始毫米波雷达数据进行预处理，得到毫米波雷达图像；获取所述毫米波雷达图像和所述相机图像分别对应的目标毫米波雷达图像特征和目标相机图像特征；将所述目标毫米波雷达图像特征和所述目标相机图像特征进行特征融合，得到目标图像融合特征；基于所述原始毫米波雷达数据、所述相机图像以及所述目标图像融合特征构建多对抗学习模型；基于所述多对抗学习模型确定所述车辆周围是否存在障碍物。即本申请实施例中，通过对原始毫米波雷达数据的预处理实现和相机图像之间的特征提取融合，对双模态融合特征进行高效提取，进而基于原始毫米波雷达数据、相机图像以及目标图像融合特征构建双鉴别器的多对抗学习模型，以保证融合图像能够同时保持每个模态图像最重要的特征信息，最终实现复杂条件下障碍物的准确识别。
[0176] 图5是本申请实施例提供的一种电子设备M00的结构图，图中，电子设备M00包括处理器M01和存储器M02，该电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器，其中，所述处理器被配置为执行所述指令，以实现如上任一所述的障碍物检测方法，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0177] 在本申请的实施例中，存储器M02可用于存储软件程序以及各种数据。存储器M02可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器M02可以包括易失性存储器或非易失性存储器，或者，存储器x09可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read‑Only内存，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access内存，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器M02包括但不限于这些和任意其它适合类型的存储器。
[0178] 处理器M01可包括一个或多个处理单元；可选的，处理器M01集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器M01中。
[0179] 本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述障碍物检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0180] 其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
[0181] 本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述障碍物检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0182] 应理解，本申请实施例涉及的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0183] 本申请实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上任一所述的障碍物检测方法。
[0184] 本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述障碍物检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0185] 本申请实施例还提供了一种车辆，所述车辆包括如上所述的障碍物检测装置。
[0186] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0187] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
[0188] 上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
