技术领域
[0001] 本发明涉及抑郁障碍检测技术领域,特别涉及一种基于检索增强生成技术和大模型微调的抑郁障碍检测报告生成系统。
相关背景技术
[0002] 近年来,抑郁障碍日益严重,影响了越来越多人的身心健康。由于医疗资源紧张和检测手段局限等因素,因此需要自动抑郁障碍检测技术为及时准确的检测提供帮助。大模型的出现涌现了出色的文本生成能力,因此基于大模型的抑郁障碍检测成为了人们所研究的热点。
[0003] 现有的自动抑郁障碍检测技术利用深度学习可以从初始特征中学习高维表示,从而捕获更多具有区分性的抑郁相关特征。因此,探索不同网络架构的抑郁检测能力以及设计学习策略,已成为近年来自动抑郁检测(ADD)方法的主流。然而,这些方法往往受到抑郁检测场景中数据不足的限制,导致模型的泛化能力有限。此外,它们通常将抑郁检测建模为分类或回归任务,从而缺乏对结果的进一步可解释性。大型语言模型(LLMs)在处理和理解大量文本数据方面表现出色,使其能够在各类语言相关任务中实现高精度和多功能性,广泛应用于医疗保健、角色扮演等领域。同时,LLMs也促进了自动抑郁症检测(ADD)方法的发展,通过为样本提供解释性信息,LLMs丰富了ADD方法的范式。然而,由于缺乏专业知识以及幻觉现象的出现,它们在抑郁检测场景中仍面临挑战。此外,现有方法通常仅依赖于患者的描述信息,因此存在患者隐瞒或表述不全面的现象,没有考虑家属在患者抑郁障碍检测过程中的重要性。
[0004] 为此,如何提供一种能够有效改善抑郁障碍检测数据样本的不足,并提高抑郁障碍检测精度,且能够对抑郁障碍检测结果作进一步解释,同时在检测过程中引入相关专业知识,并考虑患者以及家属咨询数据的基于检索增强生成技术和大模型微调的抑郁障碍检测报告生成系统是本领域技术人员亟需解决的问题。
具体实施方式
[0019] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0020] 实施例1:本发明实施例1公开了一种基于检索增强生成技术和大模型微调的抑郁障碍检测报告生成系统,如图1所示,包括:
数据生成模块:用于基于心理咨询对话提示工程,利用提示引导GPT‑4将社交媒体数据重写为心理咨询场景对话数据。当前使用大型语言模型(LLMs)构建AI心理咨询师面临诸多挑战。一方面,现有的LLMs往往难以满足心理咨询场景中的对话需求,经常生成重复或与上下文不相关的回复。另一方面,尽管指令微调可以增强LLM在特定场景下的性能,但心理咨询数据难以获取,公共数据集通常仅包含几十或几百个样本,这对于有效训练LLM来说远远不够。与公开可用的访谈数据集相比,抑郁相关的社交媒体数据更加丰富,提供了丰富的体验和情感,正是基于此,本发明开发了心理咨询对话提示工程,用于将社交媒体数据重写为用户与AI心理咨询师之间的对话,生成用户与AI心理咨询师之间的多轮对话内容,且该内容源自社交媒体帖子中丰富而真实的经验和感受,从而避免了虚构内容。
[0021] 基于心理咨询对话提示工程,利用提示引导GPT‑4将社交媒体数据重写为心理咨询场景对话数据,具体为:提示引导GPT‑4逐步根据对话重新生成提示中设定的规则分析社交媒体数据中的体验和情感,将社交媒体数据重写为用户与AI心理咨询师之间的对话;其中,对话重新生成提示,如下:
;
其中, 为对话重新生成提示; 为描述的对话生成任务,要求大型语言模型遵循规则将社交媒体数据 改写为对话;规则 ,包括: ,用于控制对话开头的格式、 ,用于要求不同角色根据角色分配分享内容,并定义对话背景的风格、 ,用于对对话长度和回合数进行限制; 为对应的问题,要求一步一步地分析并重写。
[0022] 对话重新生成提示 ,如表1所示。表1 对话重新生成提示
[0023]
[0024] AI心理咨询师构建模块:用于基于心理咨询场景对话数据和临床访谈数据,微调大型语言模型,构建AI心理咨询师,如图2所示。
[0025] 基于心理咨询场景对话数据和临床访谈数据,微调大型语言模型,构建AI心理咨询师,具体为:计算交叉熵损失,如下:
;
其中, 为心理咨询场景对话数据和临床访谈数据的融合数据集中第 个
对话中第 轮交互的交叉熵损失; 为模型参数; 为心理咨询场景对话数据和临床访谈数据的融合数据集中第 个对话中第 轮的用户内容;为心理咨询场景对话数据和临床访谈数据的融合数据集中第个对话中第 轮的模型回复; 为由一系列标记 组
成的 的目标序列的长度; 为在给定输入 和序列中先前的
标记 的条件下目标标记 的条件概率;
计算融合数据集的交叉熵总损失,如下:
;
其中, 为融合数据集的交叉熵总损失; 为融合数据集, ,
为心理咨询场景对话数据, 为临床访谈数据;为对话数量;为交互数量;
优化目标函数 ,如下:
;
其中, 为AI心理咨询师学习到的参数。
[0026] AI心理医生构建模块:用于利用检索增强生成技术将用户与AI心理咨询师的对话内容和DSM‑V判断标准进行相似性匹配,利用提示引导GPT‑4,根据检测报告提示工程生成抑郁障碍检测报告,并基于大型语言模型进行微调,构建AI心理医生,如图3所示。为了利用DSM‑V中的知识生成专业的辅助检测报告,本发明引入了检索增强生成(RAG)技术。在数据集 中包含对话的抑郁障碍检测报告可以作为高质量的数据用于指令微调,从而构建AI心理医生。由于DSM‑V的检测标准主要基于患者的症状。因此,本发明使用RAG技术将用户的对话内容与DSM‑V中每个抑郁症亚型的检测标准进行相似性匹配。将最相似的语义检测标准提供给GPT‑4以生成报告。
[0027] 利用检索增强生成技术将用户与AI心理咨询师的对话内容和DSM‑V判断标准进行相似性匹配,具体为:将DSM‑V判断标准下不同特定抑郁症亚型的症状描述分为不同的文档 ;
对于给定用户内容 和一个文档 ,使用嵌入网络编码为高维特征向量,如下:
;
;
其中, 、 分别为 、 的高维特征向量, ,为嵌入空间的维度;
为嵌入网络; 为心理咨询场景对话数据和临床访谈数据的融合数据集中第个对话中的用户内容; ; 为第 个特定抑郁症亚型的症状描述对应的文档;
利用余弦相似度计算用户内容 和每个文档 之间的语义相似度,如下:
;
选择具有最高相似度得分的文档索引,如下:
;
其中, 为具有最高相似度得分的文档索引。
[0028] 可选的,用户与AI心理咨询师的对话内容,包括:患者以及患者家属与AI心理咨询师的对话内容。
[0029] 利用提示引导GPT‑4,根据检测报告提示工程生成抑郁障碍检测报告,具体为:基于具有最高相似度得分的文档以及对应的对话输入、严重程度标准和检测标准文档,利用提示引导GPT‑4,根据检测报告生成提示中设置的思维链步骤生成抑郁障碍检测报告;其中,检测报告生成提示,如下:
;
其中, 为检测报告生成提示;为描述的检测报告生成任务,要求大型语言模型按照思维链步骤,基于具有最高相似度得分的文档以及用户内容和对应的DSM‑V判断标签,生成抑郁障碍检测报告; 为思维链步骤,引导大型语言模型,将复杂任务分解为更小、更易管理的步骤,从而产生更准确和连贯的输出,包括:步骤1‑2指导大型语言模型结合对话输入 和检测标准文档 ,逐步分析出现的抑郁症状;步骤3要求将步骤1‑2分析得出的症状与提供的检测标准文档和严重程度标准 中的相关检测标准进行匹配;步骤4指示大型语言模型根据步骤1‑3的分析信息预测抑郁的严重程度; 为对应的问题,要求LLM以固定的JSON格式输出报告。
[0030] 检测报告生成提示 ,如表2所示。
[0031] 表2 检测报告生成提示
[0032]
[0033] 基于大型语言模型进行微调,构建AI心理医生,具体为:基于每个对话生成的抑郁障碍检测报告,生成标签,如下:
;
;
其中, 为标签; 为去除检测报告生成提示中的具有最高相似度得分的文档以及严重程度标准和检测标准文档后得到的指令; 为对话输入; 为 对应的抑郁障碍检测报告;为描述的检测报告生成任务; 为思维链步骤; 为对应的问题;
计算抑郁障碍检测报告生成任务的交叉熵损失,如下:
;
其中, 为抑郁障碍检测报告生成任务的交叉熵损失; 为 的长度;
为在给定指令提示 、对话输入 以及序列中标记
的条件下,目标标记 的条件概率; 为模型参
数;
计算整体损失,如下:
;
其中, 为整体损失;为对话数量;
优化目标函数 ,如下:
;
其中, 为AI心理医生学习到的参数。
[0034] 最终,本发明基于LLM的AI心理医生能够生成专业的检测报告,生成的报告包含四个属性:二元分类、严重程度估计、症状与标准一致性、以及亚型分类,从而克服了传统自动抑郁症检测(ADD)方法的局限性。
[0035] 本发明实施例公开了一种基于检索增强生成技术和大模型微调的抑郁障碍检测报告生成系统。首先,通过基于社交媒体抑郁障碍数据集中丰富的经历和感受信息,利用心理咨询对话提示工程将社交媒体帖子重写为心理咨询场景对话数据,并结合临床访谈数据,微调大型语言模型,构建AI心理咨询师,有效改善了抑郁障碍检测数据样本不足的问题,使得微调后的大型语言模型具有符合心理咨询场景的能力,同时本发明构建的AI心理咨询师适用于患者以及患者家属的双咨询,在原有患者咨询数据的基础上,为后续抑郁障碍检测及检测报告生成引入了患者家属咨询数据,进一步提高了后续的抑郁障碍检测及检测报告生成精度。其次,利用检索增强生成技术将用户与AI心理咨询师的对话内容和DSM‑V判断标准进行相似性匹配,以为检测报告提示工程提供专业检测知识,最终基于相似度得分最高数据,利用提示引导GPT‑4,根据检测报告提示工程生成抑郁障碍检测报告,并基于大型语言模型进行微调,构建AI心理医生,实现了在检测过程中引入相关专业知识,能够对抑郁障碍检测结果作进一步解释,包括:二元分类、严重程度估计、症状与标准一致性、以及亚型分类。同时,上述本发明对大型语言模型进行的微调,也进一步提高了抑郁障碍检测及检测报告生成精度。
[0036] 本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0037] 对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。