技术领域
[0001] 本发明属于医疗技术领域，具体而言，涉及一种基于多模态信号的答题有效性判别方法。
相关背景技术
[0002] 社会生活节奏的加快使得心理健康成为重点关注问题之一，快速且精确的心理疾病筛查是解决该问题的前提。心理量表测评因其低成本、便携性等原因成为现阶段最常见
的筛查手段，但是测谎机制作为其客观性评估方法仍然存在适用性差、有效性弱、测评时间
长等缺点。
[0003] 为解决答题的有效性所带来的评估准确性问题，本申请提一种基于多模态信号的答题有效性判别方法，本方法通过使用生理信号即可对心理量表测评过程中答题行为有效
检测，最终生成更客观准确的心理量表测评结果置信度。
具体实施方式
[0036] 为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实
施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领
域普通技术被测试者在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本
发明保护的范围。
[0037] 因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领
域普通技术被测试者在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本
发明保护的范围。
[0038] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0039] 在本发明的描述中，需要理解的是，术语“中心、”“纵向、”“横向、”“长度、”“宽度、”“厚度、”“上、”“下、”“前、”“后、”“左、”“右、”“竖直、”“水平、”“顶、”“底、”“内、”“外、”“顺时针、”“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特
定的方位构造和操作，因此不能理解为对本发明的限制。
[0040] 此外，术语“第一、”“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一、”“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，
除非另有明确具体的限定。
[0041] 实施例一
[0042] 参照附图1‑3所示，本发明提供一种技术方案：一种基于多模态信号的答题有效性判别方法，包括以下步骤：
[0043] 步骤S1，数据提取，使用数据获取装置采集被测试者的脑电波数据，提取其中P300成分，人脑受到小概率相关事件的刺激时，脑电信号中会出现一个潜伏期约为300ms的正向
波峰；
[0044] 步骤S2，生理数据采集，使用数据获取装置采集同一时间内被测试者的心电图、呼吸率、心率、血氧饱和度和答题时间参数；
[0045] 步骤S3，数据判断，基于步骤S1中提取的P300成分进行是否发生作为有效性的标志进行判断；
[0046] 步骤S4，数据相关性分析，选取发生了P300成分对应的生理数据，计算步骤S1和步骤S2采集的生理数据的平均值、方差、均方差、协方差以及中位数，并将其与P300成分做相
关性分析，其相关性计算公式如下：
[0047]
[0048] 其中，p为皮尔逊相关系数，表示两个变量之间的相关程度，取值范围从‑1到1，其中，1表示完全正相关，‑1表示完全负相关，0表示无相关，Xi为变量X的观测值，即X变量中的
具体数值， 为变量X的平均值，即X变量中所有观测值的平均数，Yi为变量Y的观测值，即Y
变量中的具体数值，为变量Y的平均值，即Y变量中所有观测值的平均数；
[0049] 步骤S5，数据融合，基于步骤S4相关性分析的数据进行对齐，包括时间对齐、空间对齐、特征对齐等，识别来自不同数据源的相同实体，使用匹配算法进行数据的匹配，匹配
算法包括符串匹配、模糊匹配、基于规则的匹配等，将匹配好后的数据进行整合；
[0050] 步骤S6，构建模型，将步骤S4中融合后的数据集中，选择相关系数大于等于0.5的数据作为输入变量，构建神经网络模型，且构建之前，需对输入变量进行归一化处理，按照
如下公式进行计算：
[0051]
[0052] 其中，Xj为归一化后的值，即原始值Xi经过归一化处理后的结果，Xmin为数据集中的最小值，用于确定归一化的下限，Xmax为数据集中的最大值，用于确定归一化的上限；
[0053] 步骤S7，模型训练，选择神经网络构建识别模型进行训练，当准确率不符合要求时，一般应达到95％以上，继续补充数据进行训练，如图3所示，符合条件的变量作为输入数
据Xi以是否发生P300脑电信号作为输出标签，发生则输出记录为0，不发生则输出记录为1，
进行模型训练；
[0054] 步骤S8，数据预测，模型训练好后，将采集的数据输入模型进行预测，输出值为0，则判定为产生了撒谎行为，答题有效性不高，输出值为1则认为未产生撒谎，答题有效性高，
依此判断答题的有效性。
[0055] 本发明实施例还通过以下技术方案进行实现。
[0056] 在本发明的实施例中，步骤S1中P300成分的提取方法如下：
[0057] 建立脑电信号的线性模型，计算信号和噪声的的协方差矩阵，矩阵用于描述信号和噪声的统计特性，设计维纳滤波器，以最小化信号和噪声之间的均方误差，使用滤波器对
脑电信号进行滤波，分析滤波后的信号，识别P300成分的特征；
[0058] 将滤波后的信号进行分段，每个时间对应一个时间窗，对每个时间窗内的信号进行基线校正，对所有信号进行平均，得到ERP波形，P300成分在ERP波形中表征为一个正峰，
提取P300成分的特征，得到P300成分的数据。
[0059] 在本发明的实施例中，步骤S3中P300成分的判断为：当刺激产生时，即在出现撒谎行为时，脑电波会产生P300的信号，在被测试者答题时有撒谎行为，有效性记录为0，未发生
则认为答题有效性高，有效性记录为1。
[0060] 在本发明的实施例中，步骤S5中在数据匹配完成后，将数据整合到一个统一的数据集中，使用数据合并、数据聚合或数据转换的方法进行，使用特征选择算法对整合后的数
据提取对预测模型有用的特征。
[0061] 在本发明的实施例中，数据获取装置包括用户信息模块、面部数据采集模块、心理评测模块、血氧呼吸模块、面部分析模块、心电分析模块和评测有效性模块；
[0062] 用户信息模块用于存储被测试者的基本信息，具体包含姓名、性别、身高、体重、身份证号、出生年月、年龄、编号、就诊号、就诊科室、临床诊断、自述症状、是否吸烟以及是否
糖尿病的信息，用户尽量填写正确的信息；
[0063] 面部数据采集模块让被测试者坐在测试装置前，通过摄像头采集被测试者的面部数据；
[0064] 心理评测模块利用显示器显示选择的测试量表以及血压检测过程中的实时血压数据，实时显示量表题目、被测试者选择的选项以及量表的最终答题结果；
[0065] 血氧呼吸模块通过显示器实时显示被测试者在进行评测过程中的血氧和呼吸数值，并通过波形图展示；
[0066] 面部分析模块利用面部数据采集模块的被测试者表情数据，经过数据分析出被测试者的微笑程度、黑眼圈指数以及色板指数；
[0067] 心电分析模块利用心电图机采集被测试者的心电数据，并绘制成图案进行直观显示；
[0068] 评测有效性模块评基于上述模块的数据计算判断被测试者答题是否有效
[0069] 另外，测试装置即为将显示器、血压测量设备等生理数据采集设备集成在座椅上，实际的安装结构和位置根据选用的设备大小进行合理性的安装
[0070] 在本发明的实施例中，心理评测模块中的测试量表分为五大类，包括认知功能、生活质量、精神心理状态、个性特征和感情情绪特征和睡眠质量，包括以下量表：
[0071] 认知功能包含简易精神状态(MMSE)一个量表，是认知检查最常用的一个量表，对于心血管疾病的老年人十分简单方便。主要评测被测试者的认知功能是否正常；
[0072] 生活质量包括的方面一般有：综合健康、机体功能、病状与毒副作用、认知功能、情感功能、心理安康、角色功能、性功能、社会安康及功能、精神/信仰等，包含：生存质量测定
量表(WHOQOL)以及西雅图心绞痛量表(SAQ)、生存质量测定量表(WHOQOL)主要测定的是最
近两周的生存质量的情况、西雅图心绞痛量表(SAQ)主要测定生活质量以及机体功能状态；
[0073] 精神心理状态主要是体现被测试者可能有焦虑、抑郁等精神心理方面的问题，但是并不能给与明确诊断，包含综合医院焦虑抑郁量表(HAD)、抑郁筛查(PHQ‑9)、焦虑筛查
(GAD‑7)、焦虑自评两表(SAS)、抑郁自评量表(SDS)、躯体化症状自评量表(SSS)、个性、感情
与情绪测量量表(PAD)、症状自评量表(SCL‑90)、简明精神病评定量表(BPRS)9类量表、、综
合医院焦虑抑郁量表(HAD)是分别评定焦虑抑郁的状况等；
[0074] 个性特征和感情情绪特征的评估包含A行性格评估以及敌意、愤怒、攻击性的评估。主要是艾森克人格问卷(EPQ‑RSC)、艾森克人格问卷(EPQ‑RSC)主要评测被测试者的心
理状况、性格、情绪、真实性；
[0075] 睡眠质量的评估主要是了解被测试者的睡眠质量、睡眠状态以及是否存在睡眠呼吸暂停的问题。包含了匹兹堡睡眠质量指数(PSQI)一个量表、匹兹堡睡眠质量指数(PSQI)
主要评测被测试者的睡眠质量；
[0076] 面部分析模块利用面部检测算法对采集的面部信息进行定位，在面部区域信息上使用面部标志点定位算法来标记面部特征点，如眼睛、鼻子、嘴巴等，通过分析嘴巴周围的
标志点位置和形状变化，分析微笑的程度，例如，嘴角上扬的程度和嘴巴张开的宽度可以用
来量化微笑的强度，通过分析眼眶区域的颜色和亮度，分析黑眼圈的程度，需要通过颜色空
间转换(如RGB到HSV)和直方图分析来分析，通过分析面部区域的颜色分布和亮度变化，评
估肤色的质量，利用颜色直方图分析、颜色空间转换和肤色分割技术进行分析。
[0077] 以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术被测试者来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的
任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0078] 应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情
况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不
是要限于所述的特定顺序或层次。
[0079] 在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清
楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那
样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特
此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
[0080] 本领域技术被测试者还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明
硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功
能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和
对整个系统所施加的设计约束条件。熟练的技术被测试者可以针对每个特定应用，以变通
的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
