技术领域
[0001] 本发明涉及图像识别技术领域，更具体的说是涉及一种融合边缘特征的可持续学习图像篡改定位方法及系统。
相关背景技术
[0002] 目前，图像取证技术致力于检测和定位图像中的篡改痕迹和区域；图像篡改是利用特定的图像编辑技术、工具对真实图像的内容进行更改、伪造；常见的图像篡改方式主要包括图像拼接、复制‑移动和擦除，其中，图像拼接是指将图像中的某个区域粘贴到另外一幅图像中，复制‑移动是指将图像中某个区域粘贴到该图像其它位置，擦除是指擦除指定的图像区域并根据图像背景估计该区域的新像素值。基于深度学习的图像取证方法可以自动学习图像不同层级的复杂特征，能够提取出更具判别力的特征，具有显著优于传统手工特征的性能，使得基于深度学习的图像取证方法逐渐成为图像取证领域的主流方法。
[0003] 但是，基于深度学习的图像取证方法对图像中篡改区域的定位效果在一定程度上依赖于训练时所用的数据集，当测试数据集与训练数据集分布不一致或存在域偏移时则存在泛化能力不佳的问题。
[0004] 对此，现有技术通过在训练好的图像篡改定位模型基础上进行微调，这样虽然有助于提升图像篡改定位模型在测试数据集上的效果，但也会导致其在最初的数据集上的效果显著下降，即发生了灾难性遗忘。灾难性遗忘是指神经网络由于适应新任务，在学习的过程中丢失了从之前的旧任务中学到的知识，从而严重影响了其对于旧任务的性能。
[0005] 因此，如何在避免灾难性遗忘的基础上，提高图像篡改定位的检测精度和泛化能力是本领域技术人员亟需解决的问题。
具体实施方式
[0078] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0079] 实施例1
[0080] 持续学习(Continual Learning，CL)可以使模型从持续到来的任务中不断学习新知识，同时尽可能保留从旧任务中学到的知识，从而使模型具有同时适应不同任务的能力，因而有助于解决灾难性遗忘问题。
[0081] 为解决背景技术中存在的问题，如图1所示，本发明实施例公开了一种融合边缘特征的可持续学习图像篡改定位方法，包括：
[0082] 构建包括主干网络、滤波模块、边缘特征融合模块和解码器的基础定位模型；
[0083] 获取目标图像并输入至主干网络进行多次特征提取，得到多个提取特征图；
[0084] 将所有的提取特征图依次输入至滤波模块和边缘特征融合模块得到预测篡改区域边缘掩模；
[0085] 将第一次和最后一次提取得到的提取特征图输入至解码器，得到预测篡改区域掩模；
[0086] 基于预测篡改区域边缘掩模和预测篡改区域掩模，构建联合损失函数并对基础定位模型进行训练，得到初始定位模型；
[0087] 获取待测图像数据集并基于最终目标函数对初始定位模型进行预设次数的训练，最终得到篡改定位模型；
[0088] 获取待检测图像输入至篡改定位模型，得到篡改定位结果图。
[0089] 实施例2
[0090] 本发明实施例公开了一种融合边缘特征的可持续学习图像篡改定位方法，包括：
[0091] 如图2所示，构建包括主干网络、滤波模块、边缘特征融合模块和解码器的基础定位模型。
[0092] 获取目标图像并输入至主干网络进行多次特征提取，得到多个提取特征图：
[0093] 优选的，目标图像为待检测图像，本实施例采用RGB域图像I∈R3×H×W，其中H和W分别表示RGB域图像的高和宽，3表示通道数量。
[0094] 优选的，得到多个提取特征图，具体包括：
[0095] 如图3所示，主干网络包括：第一卷积层、最大池化层和四个特征提取模块；
[0096] 目标图像依次输入至第一卷积层和最大池化层处理，得到输入特征图F0，F0∈R64×(H/4)×(w/4)；
[0097] 输入特征图F0输入至第一特征提取模块，得到第一提取特征图F1；
[0098] 第一提取特征图F1输入至第二特征提取模块，得到第二提取特征图F2；
[0099] 第二提取特征图F2输入至第三特征提取模块，得到第三提取特征图F3；
[0100] 第三提取特征图F3输入至第四特征提取模块，得到第四提取特征图F4。
[0101] 优选的，第一特征提取模块包括顺序连接的三个第一残差块，所有第一残差块结构均相同，输入特征图F0依次输入至三个第一残差块进行处理，得到第一提取特征图F1。
[0102] 优选的，第二特征提取模块包括顺序连接的四个第二残差块，所有第二残差块结构均相同，第一提取特征图F1依次输入至四个第二残差块进行处理，得到第二提取特征图F2。
[0103] 优选的，第三特征提取模块包括顺序连接的二十三个第三残差块，所有第三残差块结构均相同，第二提取特征图F2依次输入至二十三个第三残差块进行处理，得到第三提取特征图F3。
[0104] 第四特征提取模块包括顺序连接的三个第四残差块，所有第四残差块结构均相同，第三提取特征图F3依次输入至三个第四残差块进行处理，得到第四提取特征图F4。
[0105] 将所有的提取特征图依次输入至滤波模块和边缘特征融合模块得到预测篡改区域边缘掩模：
[0106] 优选的，滤波模块包括四个结构相同的滤波层；
[0107] 第一提取特征图F1、第二提取特征图F2、第三提取特征图F3和第四提取特征图F4分别输入至一个滤波层进行特征提取，对应得到第一边缘特征图、第二边缘特征图、第三边缘特征图和第四边缘特征图。
[0108] 优选的，滤波模块包括第一滤波层、第二滤波层、第三滤波层和第四滤波层；
[0109] 第一提取特征图F1输入至第一滤波层，得到第一边缘特征图B1；
[0110] 第二提取特征图F2输入至第二滤波层，得到第二边缘特征图B2；
[0111] 第三提取特征图F3输入至第三滤波层，得到第三边缘特征图B3；
[0112] 第四提取特征图F4输入至第四滤波层，得到第四边缘特征图B4。
[0113] 优选的，本实施例第一滤波层、第二滤波层、第三滤波层和第四滤波层均采用基于高斯滤波的Sobel算子；边缘特征图与提取特征图特征维度相同。
[0114] 优选的，得到预测篡改区域边缘掩模，具体包括：
[0115] 如图4所示，边缘特征融合模块包括四个处理模块和三个融合模块；
[0116] 第一边缘特征图B1输入至第一处理模块，得到第一处理特征图
[0117] 第二边缘特征图B2输入至第二处理模块，得到第二处理特征图
[0118] 第三边缘特征图B3输入至第三处理模块，得到第三处理特征图
[0119] 第四边缘特征图B4输入至第四处理模块，得到第四处理特征图
[0120] 第一处理特征图 和第二处理特征图 输入至第一融合模块，得到第一融合特征图R1；
[0121] 第一融合特征图R1和第三处理特征图 输入至第二融合模块，得到第二融合特征图R2；
[0122] 第二融合特征图R2和第四处理特征图 输入至第三融合模块，得到第三融合特征图R3；
[0123] 第三融合特征图R3执行激活函数操作，得到预测篡改区域边缘掩模Medge。
[0124] 优选的，本实施例激活函数采用Sigmoid激活函数。
[0125] 优选的，第一处理模块、第二处理模块、第三处理模块和第四处理模块结构相同，如图5所示，均包括：第二卷积层、第三卷积层、第四卷积层和第一上采样层
[0126] 对应的边缘特征图输入至第二卷积层，得到中间结果
[0127]
[0128] 中间结果 依次输入至第三卷积层和第四卷积层，得到最终结果
[0129] 中间结果 和最终结果 进行融合，并输入至第一上采样层，得到对应的处理特征 本实施例融合采用元素级加法操作：
[0130]
[0131] 其中，Conv表示卷积操作、 表示元素级加法操作、Upsample表示上采样操作。
[0132] 优选的，第一融合模块、第二融合模块和第三融合模块结构相同，如图6所示，均包括：第五卷积层、第六卷积层和第七卷积层；
[0133] 输入相应的两组处理特征图进行融合，并将融合结果输入至第五卷积层，得到过程结果
[0134] 将过程结果 依次输入至第六卷积层和第七卷积层，得到输出结果
[0135] 将过程结果 和输出结果 进行融合，得到对应的融合特征图Ri。
[0136] 优选的，第一处理特征图 和第二处理特征图 进行联结操作(Concatenation)得到拼接的特征向量后与第一处理特征图 进行元素级乘法后再与 进行元素级加法得到过程结果:
[0137]
[0138] 其中，Concat表示联结操作、 表示元素级乘法操作，并将此过程称为合并，下述同理。
[0139] 优选的，第一处理特征图 和第二处理特征图 进行合并得到过程结果 并输入至第六卷积层和第七卷积层，得到输出结果 过程结果 和输出结果 进行合并，得到对应的第一融合特征图R1；第一融合特征图R1和第三处理特征图 进行融合得到过程结果 并输入至第六卷积层和第七卷积层，得到输出结果 过程结果 和输出结果 进行合并，得到对应的第二融合特征图R2；其他融合特征图的获取方式同上，在此不进行一一列举。
[0140] 将第一次和最后一次提取得到的提取特征图输入至解码器，得到预测篡改区域掩模：
[0141] 优选的，如图7所示，解码器包括：金字塔池化模块、第八卷积层、第二上采样层和输出模块；
[0142] 第四提取特征图F4输入至金字塔池化模块，得到全局融合特征图FM，FM图兼具不同256×(H/16)×(w/16)
尺度局部特征和全局特征，FM∈R ；
[0143] 全局融合特征图FM输入至第二上采样层，得到第一结果；
[0144] 第一提取特征图F1输入至第八卷积层，得到第二结果；
[0145] 第一结果和第二结果进行联结，得到联结特征图
[0146] 联结特征图 输入至输出模块，得到预测篡改区域掩模Marea。
[0147] 优选的，如图8所示，金字塔池化模块包括：第九卷积层、第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第十卷积层和全局特征提取模块；
[0148] 第四提取特征图F4分别输入至第九卷积层、第一空洞卷积层、第二空洞卷积层和(1) (2)第三空洞卷积层，对应得到第一尺度特征图F4 、第二尺度特征图F4 、第三尺度特征图F4(3) (4)
和第四尺度特征图F4 ；
[0149] 第一尺度特征图F4(1)、第二尺度特征图F4(2)、第三尺度特征图F4(3)和第四尺度特征(4)图F4 进行联结后输入至第十卷积层，得到局部特征图FA；
[0150] 第四提取特征图F4输入至全局特征提取模块，得到全局特征图F4(5)；
[0151] 局部特征图FA和全局特征图F4(5)融合得到全局融合特征图FM。
[0152] 优选的，本实施例第一尺度特征图F4(1)、第二尺度特征图F4(2)、第三尺度特征图F4(3) (4) (5) 256×(H/16)×(w/16)、第四尺度特征图F4 和全局特征图F4 均∈R ，融合采用元素级加法操作。
[0153] 优选的，第一尺度特征图F4(1)、第二尺度特征图F4(2)、第三尺度特征图F4(3)、第四尺(4)度特征图F4 分别具有不同尺度的感受野，捕获了来自不同尺度的上下文信息。
[0154] 优选的，本实施例，第九卷积层和第十卷积层卷积核均为1×1；第一空洞卷积层、第二空洞卷积层和第三空洞卷积层的卷积核大小均为3×3，空洞率(Atrous Rate)分别为6、12和18。
[0155] 优选的，第一提取特征图F1输入至第八卷积层执行一次卷积操作减少特征通道数，目的是为了弱化其相对于FM的重要性，以免联结特征图 受到浅层特征的过度影响。
[0156] 优选的，全局特征提取模块包括：全局平均池化层、第三上采样层和第十一卷积层；
[0157] 第四提取特征图F4依次输入至全局平均池化层、第三上采样层和第十一卷积层，(5)得到全局特征图F4 。
[0158] 优选的，输出模块包括第十二卷积层、第十三卷积层、第十四卷积层和第四上采样层；
[0159] 联结特征图 依次输入至第十二卷积层、第十三卷积层和第十四卷积层处理得到特征图 特征图 输入至第四上采样层进行处理后执行激活函数操作，得到预测篡改区域掩模Marea。
[0160] 优选的，本实施例第十二卷积层、第十三卷积层和第十四卷积层的卷积核大小分别为：3×3、3×3和1×1，激活函数采用Sigmoid激活函数。
[0161] 基于预测篡改区域边缘掩模和预测篡改区域掩模，构建联合损失函数并对基础定位模型进行训练，得到初始定位模型N0：
[0162] 优选的，基于预测篡改区域边缘掩模计算得到边缘损失函数：Ledge＝f1(Gedge,Medge)；基于预测篡改区域掩模计算得到篡改区域损失函数：Larea＝f2(Garea,Marea)；基于边缘损失函数和篡改区域损失函数构建联合损失函数：Ltotal＝aLedge+βLarea，其中，Gedge表示篡改区域边缘真值掩模，Garea表示篡改区域真值掩模，f1表示相似系数损失函数，用来衡量模型生成分割结果与真实分割标签之间的相似度f2表示交叉熵损失函数，用于衡量预测边缘和真实边缘掩膜之间的差异以及预测的篡改区域掩膜和真实篡改区域之间的相似度，α和β分别表示边缘损失权重系数和区域损失权重系数。
[0163] 获取待测图像数据集并基于最终目标函数对初始定位模型进行预设次数的训练，最终得到篡改定位模型：
[0164] 优选的，定义任务集T＝{T1,T2,...,Tn}，获取待测图像数据集D＝{D1,D2,...,Dn}，待测图像数据集包括待测图像和其对应的真值掩模，训练得到的模型集N＝{N1,N2,...,Nn}，其中n为任务个数，Di为第i个任务Ti对应的待测图像数据集，Ni为第i个任务Ti结束以后得到的模型，则任务Ti(i≥2)表示为：对上一个任务Ti‑1得到的模型Ni‑1使用待测图像数据集Di和最终目标函数进行训练得到新模型Ni，与模型Ni‑1相比，模型Ni不仅在数据集Di上可以取得较好的效果，并且在数据集D1、D2、......、Di‑1上的效果也不会受到影响。
[0165] 优选的，最终目标函数Lz为：
[0166]
[0167] 其中， 表示的是针对第k个任务的损失函数，它是模型参数θ的函数，P表示模型参数的数量，λ表示正则化强度，控制着对总目标函数的影响程度， 示Fisher信息矩阵， 表示参数重要性得分，θi表示第i个模型参数， 表示在第k‑1个任务训练完成后，模型参数θ的第i个元素的值。
[0168] 优选的，最终目标函数包括了新任务的损失和正则化项，正则化项旨在保持对之前任务的知识。为了解决僵化问题这里还采用了不同的采样策略来存储一小部分代表性样本，这些样本在训练新任务时被使用，来帮助模型回忆旧任务的信息。通过上述步骤持续学习帮助模型减少遗忘并提高其对新任务的适应性。
[0169] 优选的，对于每个模型Ni，定义一个与其对应的参数θ，对于一个参数为θ的神经网络，对于任务T的数据集Di，Fisher信息矩阵F可以通过以下公式近似计算：
[0170]
[0171] Fθ表示参数θ对应的Fisher信息矩阵，Fθ，i表示第i个参数的Fisher信息， 表示第i个参数的变化量。
[0172] 优选的，利用KL散度来衡量新旧任务之间的分布差异，对于任务T的新数据集DT和之前任务的参数θT‑1，目的是最小化以下目标函数：
[0173]
[0174] 其中，lT(θ)表示新任务T的损失函数，λ表示正则化强度，DKL表示KL散度， 表示在第T‑1个任务训练完成后，模型参数为θT‑1时的条件概率分布，pθ表示在模型参数更新为θ后的条件概率分布pθ(y|x)。
[0175] 优选的，对于每次参数更新θi(t)到θi(t+1)，计算参数重要性得分
[0176]
[0177] 其中， 表示由参数θ的变化而导致的损失变化， 表示第i个参数在时2
间t的Fisher信息，Δθi(t)表示在参数更新过程中，第i个参数在时间步t时的变化量的平方，∈表示一个小的正数来确保数值稳定性。
[0178] 获取待检测图像输入至篡改定位模型，得到篡改定位结果图。
[0179] 优选的，预测篡改区域边缘掩模用于标识图像中的边缘位置,预测篡改区域边缘掩模是一个二进制掩膜，其中像素值为1表示该像素位于边缘，像素值为0则表示不是边缘；预测篡改区域掩膜用于标识图像中的篡改区域，预测篡改区域掩膜是一个二进制掩膜，其中像素值为1表示该像素位于篡改区域，像素值为0则表示不是篡改区域。通过预测篡改区域掩膜对待测图像进行标识，得到篡改定位结果图。
[0180] 实施例3
[0181] 如图9所示，一种融合边缘特征的可持续学习图像篡改定位系统，包括：模型构建模块、特征提取模块、边缘掩模输出模块、区域掩模输出模块、初始训练模块、持续学习模块和结果输出模块；
[0182] 模型构建模块，用于构建包括主干网络、滤波模块、边缘特征融合模块和解码器的基础定位模型；
[0183] 特征提取模块，用于获取目标图像并输入至主干网络进行多次特征提取，得到多个提取特征图；
[0184] 边缘掩模输出模块，用于将所有的提取特征图依次输入至滤波模块和边缘特征融合模块得到预测篡改区域边缘掩模；
[0185] 区域掩模输出模块，用于将第一次和最后一次提取得到的提取特征图输入至解码器，得到预测篡改区域掩模；
[0186] 初始训练模块，用于基于预测篡改区域边缘掩模和预测篡改区域掩模，构建联合损失函数并对基础定位模型进行训练，得到初始定位模型；
[0187] 持续学习模块，用于获取待测图像数据集并基于最终目标函数对初始定位模型进行预设次数的训练，最终得到篡改定位模型；
[0188] 结果输出模块，用于获取待检测图像输入至篡改定位模型，得到篡改定位结果图。
[0189] 经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种融合边缘特征的可持续学习图像篡改定位方法及系统，具有以下有益效果：
[0190] 1、本发明从深度网络的层次化特征图中提取边缘信息，并计算边缘损失，通过与预测的篡改区域损失叠加进行联合优化的方式，利用边缘信息对预测结果进行校正，进一步提高了篡改区域定位的检测精度。
[0191] 2、本发明通过采用不同的采样策略来存储先前任务的代表性样本，以减轻固执性并提高模型对新任务的适应性，解决图像篡改定位中存在的灾难性遗忘问题。
[0192] 3、本发明采用持续学习方法对图像篡改定位模型进行优化训练，通过在优化过程中，对图像篡改定位模型在新数据集上的参数更新进行约束，以保留模型在旧数据集上学到的知识，从而使模型在不同数据集上都能取得相对较好的效果，使得图像篡改定位模型能够持续获得更好的泛化性能。
[0193] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0194] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
