[0001] 本发明涉及一种基于决策边界及信赖域的对抗样本优化方法，属于深度学习以及图像识别领域。

[0002] 随着人工智能技术的发展，深度神经网络目前被广泛应用于图像识别、语音识别、自然语言处理、生物信息处理、机器人、化学、电脑游戏、搜索引擎、网络广告投放、医学自动诊断和金融等各大领域。尤其是在计算机视觉领域中，深度神经网络表现非常出色，执行图像识别任务的准确率已经远远超过人类识别的准确率。但在一些特定场合，需要使用图像的对抗样本，造成神经网络错误识别，以达到保护原始对象的目的。对抗攻击是指在原始样本上添加精心设计的轻微扰动实现对神经网络模型的干扰，在不影响人类视觉效果的前提下导致神经网络模型对图片错误分类。

[0003] 对抗样本最早由Szegedy等人提出，通过在输入图像中故意添加细微的干扰形成对抗样本，经过干扰的输入会导致分类模型给出一个高置信度的错误输出，这意味着对抗样本成为了神经网络训练的盲点。之后Goodfellow等人指出，深度神经网络受到对抗样本攻击的最主要原因是由于线性部分的存在，并提出了针对白盒攻击快速生成对抗样本的方法。对抗样本的发现促进了对神经网络鲁棒性的研究。

[0004] 目前学界提出的白盒攻击方法主要分为基于梯度的攻击方法与基于优化算法的攻击方法。其中基于梯度的攻击方法效果较好，基于梯度的攻击方法主要用L‑P范数度量原始样本与对抗样本之间的差异，但这种方式只能保证图片之间的最大像素差异满足一定条件，并不是人类视觉上的最优值。目前基于梯度的白盒攻击的对抗性较强的方法是Carlini和Wagner在论文《Towards Evaluating the Robustness of Neural Networks》提出的基于优化算法的攻击方法(简称为C&W攻击方法)，可以有效攻破各种深度神经网络。C&W攻击方法包含L0、L2和L∞三种距离衡量方式，其中人类视觉效果最好的为L2距离度量方式。但无论是基于梯度或是基于优化算法的攻击方法，主要衡量标准都为识别分类与正确分类之间的错分度量，不能保证扰动最小。

[0031] 下面结合具体实施例对本发明内容进行详细说明。

[0032] 实施例一

[0033] 一种基于决策边界及信赖域的对抗样本优化方法是利用白盒攻击方法生成对抗样本，之后基于决策边界及信赖域对对抗样本进行多层次优化，引导生成扰动最小的对抗样本。

[0034] 较优的，基于决策边界及信赖域对对抗样本进行多层次优化，包括如下内容：

[0035] 一、确定用于选择精英样本的适应度函数；

[0036] 优选的，本发明选用的适应度函数为交叉熵损失函数与原始样本和当前样本的距离之和。进一步的，原始样本和当前样本的距离采用欧几里得距离。进一步的，交叉熵损失函数值为样本查询攻击模型最后一层全连接层的输出向量与真实标签独热编码的交叉熵。

[0037] 二、对基于所述对抗样本生成的样本迭代更新直至样本最优，即扰动最小；

[0038] 优选的，迭代更新过程为：

[0039] ①令样本t为所述对抗样本，迭代次数k为0；

[0040] ②对t添加对抗噪声，生成临时样本群；

[0041] 较优的，对抗噪声采用L∞限制下的对抗噪声；其中，L∞表示对抗样本和原始样本之间的相似程度。

[0042] ③使用所述适应度函数对所述临时样本群中的所有样本进行打分，选取分值最优的作为精英样本；

[0043] ④将所述精英样本向原始样本进行投影，得到临时对抗样本；

[0044] 较优的，投影时确保生成的临时对抗样本的视觉噪声效果一直收敛在L∞限制范围内。

[0045] 进一步的，作为超参数的投影的步长在本发明方法的实施过程中不应一成不变，应根据如下原则调整：统计临时样本群内的临时样本满足如下条件的比例λ：对于目标攻击而言，临时样本的查询标签应等于目标标签；对于非目标攻击而言，临时样本的查询标签不等于原始样本；如果0.3≤λ≤0.7时，步长无需调整；如果λ小于0.3，增大步长；如果λ大于0.7，减少步长。

[0046] ⑤令t为所述临时对抗样本，k＝k+1；

[0047] ⑥如果k等于预设的最大迭代次数maxIter，则将t作为扰动最小的对抗样本输出；结束；

[0048] ⑦最近10次迭代得到的所述临时对抗样本与原始样本之间的均方误差数值均相同，则将t作为扰动最小的对抗样本输出；结束；

[0049] ⑧返回②继续迭代。

[0050] 实施例二

[0051] 以图片识别为例，应用本发明生成扰动最小的对抗样本过程如下：

[0052] 1.对抗样本初始化

[0053] 基于ImageNet数据集选取100张原始图片，即100张原始样本，对每张原始样本通过白盒攻击方法生成对应图片的初始对抗样本。

[0054] 2.制定适应度函数

[0055] 设定样本适应度函数，适应度函数主要分为两部分。目前大多数分类任务的深度神经网络，利用模型查询得到的标签与训练集真实标签做交叉熵计算获得损失函数，因此设定适应度函数的第一部分为样本查询攻击模型最后一层全连接层的输出向量与真实标签独热编码的交叉熵。此外对抗样本的基本要求是不影响人眼视觉识别，因此设定适应度函数的第二部分为样本图片与原始图片之间的欧式距离。

[0056] 3.样本迭代更新

[0057] 设定最大迭代次数maxIter，在maxIter范围内对样本进行如下迭代操作：

[0058] 初始对抗样本添加L∞限制下的对抗噪声，其中，L∞表示对抗样本和原始图片之间的相似程度，生成一定种群数量的临时样本群；

[0059] 之后利用适应度函数对每个样本进行打分，选取分值最小的样本作为种群的精英样本；

[0060] 之后将精英样本向原始图片进行投影，得到临时对抗样本，同时投影操作确保生成的临时对抗样本的视觉噪声效果一直收敛在L∞限制范围内；

[0061] 当更新后的样本，即临时对抗样本，与原始图片之间的均方误差数值相同超过10次，我们认为样本已经更新到最优状态，即得到了扰动最小的对抗样本，终止迭代操作；或者迭代次数达到maxIter，终止迭代操作，将此时的临时对抗样本作为扰动最小的对抗样本。

[0062] 4.超参数调整

[0063] 本发明包括两个超参数，一个是每次添加的对抗噪声的L∞限制，另一个是精英样本向原始样本投影的步长。该二参数可以根据具体应用场景预设，针对本实施例，如预设L∞＝8，步长为1。迭代过程中，L∞不再调整，但步长应根据对抗样本迭代状况进行不断调整，以使扰动快速收敛。具体调整方式为，统计临时样本群内样本满足如下条件的比例λ：对于目标攻击而言，临时样本的查询标签应等于目标标签；对于非目标攻击而言，临时样本的查询标签不等于原始样本。根据经验将这里的阈值设为0.3～0.7。即当0.3≤λ≤0.7时，我们认为步长合理，无需更新。当步长在此范围外，小于0.3时，证明符合标准的样本过少，应增大步长；大于0.7时，比例过高，容易陷入局部最优，需要减少步长。

[0064] 本发明通过将梯度算法与优化算法融合，针对白盒攻击方法生成的初始对抗样本，使用基于决策边界及信赖域的多层次引导生成方法优化对抗样本，消除了对抗样本中的无效扰动，使对抗样本中的扰动大小相比初始对抗样本减少了40％以上，扰动更加隐秘。

[0065] 以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。