[0001] 本发明涉及自然语言理解技术领域，特别是涉及一种结合大语言模型知识蒸馏的伪造信息检测方法。

[0002] 目前，尽管大语言模型LLM具有推理能力和可解释性，但是因为大语言模型尺寸巨大和价格昂贵的原因，在现实生活中应用存在着挑战。现在的大语言模型LLM由500B的参数组成，需要至少350GB的GPU内存和复杂的计算工作量。为了解决这一挑战，知识蒸馏KD技术成为解决这一问题的研究重点。把大语言模型LLM作为教师模型，为小语言模型SLM提供指导，把大语言模型LLM的推理和解释能力迁移到小语言模型SLM中，既可以减少模型规模和计算工作量，又可以利用小语言模型SLM的特征提取能力优势，同时小语言模型SLM在提取特征和分类的同时，也可生成解释。

[0003] 在现有的研究方法中，知识蒸馏KD技术常用的方法包括有基于黑盒的KD、基于白盒的KD。基于黑盒的KD使用教师模型的编码序列作为学生模型的训练数据，然后把学生模型的分类结果的交叉熵损失作为训练的损失约束；而基于白盒的KG是最小化教师模型和学生模型的输出距离，这里常用KL散度约束。

[0004] 尽管KD技术可以把LLM的推理判断和解释能力迁移到SLM中，但是现有的KD技术存在着不适用于知识密集型的推理任务的问题，如何同时蒸馏LLM的外部知识和推理判断的能力，把外部知识注入到SLM中是本申请的研究重点。其次，之前很多结合LLM和SLM的文献，研究了LLM和SLM相结合的优势，LLM和SLM在伪造信息检测各自的作用，研究表明LLM为SLM分类提供指导，SLM适合做最终的分类。但是很少研究LLM和SLM之间的分类差异，并根据差异调整最终SLM分类预测的特征权重。

[0043] 下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。

[0044] 需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后…) 仅用于解释在某一特定姿态 (如附图所示) 下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。另外，在本发明中涉及“优选”、“次优选”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“优选”、“次优选”的特征可以明示或者隐含地包括至少一个该特征。

[0045] 如图1所示，一种结合大语言模型知识蒸馏的伪造信息检测方法，包括有图像文本特征预处理、大语言预测、特征聚合以及知识蒸馏，具体有

[0046] S1、图像文本特征预处理，用transformer文本编码器提取文本特征，得到文本特征 ；用Resnet网络图像编码器提取图像特征，得到图像特征 ；

[0047] S2、大语言模型LLM精准预测，首先根据输入的图像和文本信息，解释图像和文本的模态关联，然后通过大语言模型LLM生成文本模态的搜索短语，搜索短语使用bing搜索引擎检索证据，最后把模态关联性解释，检索到的证据输入到精准预测大语言模型LLM中，得到教师模型推理依据 和精准的教师模型预测结果 ；

[0048] S3、特征聚合，用transformer文本编码器表示教师模型推理依据 的依据特征为 ；首先计算教师模型预测结果 和输入图像本文实际标签 的交叉熵损失，交叉熵损失越小，说明大语言模型LLM的预测越准确，因此，为大语言模型LLM的推理依据赋予较大的权重，反之，赋予较小的权重。赋予权重后的教师模型推理依据的文本特征为。然后，把 、 、和 聚合得到聚合特征m，最后聚合特征输入到分类器中，实现最终的结果。在此过程中，需要保存教师模型的文本模态的检索证据、教师模型推理依据、教师模型模态关联性描述，图像和文本模态，为知识蒸馏步骤构建知识蒸馏的数据集，记作。

[0049] S4、知识蒸馏。通过最大化学生模型的大语言模型LLM生成的序列的可能性来微调学生模型，确保学生模型和教师模型的预测结果一致。根据数据集 ，微调现成的语言模型，遵循其原始的自回归训练目标。为了促进这一微调过程，采用LoRA优化方法，在此方法中，语言模型被冻结，仅对Transformer层的秩分解组件进行优化。

[0050] 如图1所示，S2包括有解释图像和文本模态的模态关联性、检索证据、精准预测，具体有

[0051] S21、解释图像和文本模态的模态关联性。给解释图像和文本关联性的大语言模型LLM输入新闻的图像和文本信息，提示学习模板为“Please describe the connection between the [IMAGE] and [TEXT]and provide complementary information between images and text which is conducive to determining the authenticity of news”,让解释图像和文本关联性的大语言模型LLM生成解释新闻真假的图像和文本的互补信息，以及图像和文本的关联性描述 ；

[0052] S22、检索证据。首先让大语言模型LLM根据提示，生成搜索标题和搜索短语，然后根据标题和搜索短语，使用being搜索引擎检索外部的证据，最后用python中的newspaper库，获得证据的文本内容；

[0053] S23、精准预测。把检索的证据，以及图像和文本的关联性描述，输入到精确预测的大语言模型LLM中，根据提示学习模板，得到大语言模型LLM精确预测的结果和依据。提示学习的模板为：“The connection between the image and text,and the complementary information between them are[CONNECTION],then the [EVIDENCE]provide more information to verify the authenticity of the news.Please generate the label of the news is fake or true and the explanations for the judgement.”本案中，若只使用大语言模型LLM生成的预测结果作为最终的预测，会产生幻觉造成实验性能下降，因此需要结合小语言模型SLM做最终的分类，同时由于LLM生成的依据可指导SLM分类，因此后续步骤需要用文本编码器表示生成依据的特征，把该生成依据的特征和 、 聚合，输入分类器中，得到最终的预测结果。

[0054] 如图1所示，S3包括推理依据特征赋予权重和特征融合，具体有

[0055] S31、推理依据特征赋予权重。使用Transformer文本编码器提取依据的文本特征，记作 ，然后计算输入图像本文实际标签 和教师模型预测结果 的交叉熵损失，计算公式为：

[0056] =  log +(1‑ )log(1‑ )   （1）

[0057] 由于交叉熵越小，表示分类的准确率越高，依据就越重要，因此设 特征的权重为 （1‑ ）， 。赋予权重后的教师模型推理依据的文本特征 的特征表示为：

[0058] = （1‑ ）       （2）

[0059] S32、特征融合。把 、 、 拼接形成聚合特征m，用Softmax分类器完成最终的分类。

[0060] 如图1所示，S4包括生成学生模型的推理依据 和Minigptv2的预测结果、学生模型最终预测。

[0061] S41、学生模型推理依据 和学生模型预测结果 的生成。知识蒸馏的动机是让学生模型生成的推理依据和预测结果与教师模型尽可能的对齐，因此，训练‑微调学生模型的目标是最大化教师模型的大语言模型LLM生成序列的可能性。遵循其原始的自回归训练目标，采用LoRA优化方法，在此方法中，语言模型被冻结，仅对Transformer层的秩分解组件进行优化。根据数据集 ，仿照教师语言模型构造提示学习模板。对包含 L个标记的输出 y，根据数据集 生成的微调大语言模型MiniGPTv2模型建模：

[0062] p(y|T,V, )= ( ) （3）

[0063] 为提示学习模板， 表示输入的文本和图像，表示可训练的参数，P表示分配的概率，y表示预测的标签；

[0064] 将知识蒸馏的数据集 输入到微调大语言模型MiniGPTv2中，根据提示，生成学生模型推理依据 和学生模型预测结果 ；

[0065] S42、学生模型的最终预测。仿照教师模型，使用Transformer文本编码器提取学生模型推理依据 的文本特征，记作 ，然后计算输入图像本文实际标签 和学生模型预测结果 的交叉熵损失，计算公式为：

[0066] =  log +(1‑ )log(1‑ )

[0067] 设 特征的权重为 （1‑ ）， ，赋予权重后的学生模型推理依据的文本特征 表示为：

[0068] = （1‑ ） ；

[0069] 把 、 、 拼接形成聚合特征m，并通过学生模型小语言模型分类器完成最终的分类，得到学生模型分类结果。

[0070] 以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。