[0001] 本实用新型涉及医疗器械领域，尤其涉及一种多模态便携式认知筛查装置。

[0002] 随着医疗技术的进步和社会发展的推动，全球范围内老龄化现象越来越严重。老龄化对社会、经济和健康等方面都带来了重大影响。轻度认知障碍(MCI)是一种介于正常老年认知衰退和阿尔茨海默症之间的状态。MCI的特征是认知功能的轻微下降，但不影响日常生活活动。MCI患者可能会出现记忆力减退、注意力不集中、语言障碍和空间定向困难等症状。临床上多采用神经心理学量表对认知状态进行评估。虽然量表可以得出较为准确的诊断结果，但该方法需专业医师执行，且单人1次完成一套纸质量表耗时至少2小时，无法实现快速筛查，尤其不适用于非医疗环境下的筛查。

[0003] 认知障碍可以从神经生理和外显行为两个方面进行检测，神经电生理、眼动和步态能够定量反映认知状态的变化，外显如步态的不稳定也可以反映认知的状态。研究表明，认知障碍患者在看待负面认知信息时，会表现出更长的注视时间和较少的扫视次数；认知障碍患者常表现出面部表情的紧张和不安；认知障碍患者的步速、姿态、步幅均会发生显著变化。现有的研究将脑电信号与外围生理信号进行融合用于认知识别分类任务，实验结果表明这两种模态的数据中都含有任务相关信息，同时这两种之间也相互影响，融合上述三种模态认知评估方法可以较大程度地提高认知障碍识别的能力，目前的研究出现过以下几种模型：一种基于个体面部表情和脑电信号的多模态模型，其中利用多任务的卷积网络对认知的模态进行迁移，通过SVM对脑电模态分类，最终双模态联合的识别准确率较高；在认知领域的前沿研究中，一种BDAE(Bimodal Deep AutoEncoder)模型，将EEG信号和眼动数据进行融合，利用脑电和眼动之间的互补性来加强模型的泛化能力。然而，以上所有的相关研究仅仅考虑了两种模态的数据，难以实现更加全面准确地认知识别。并且，这些研究也没有考虑模态之间的相互依赖、同步对齐的关系，不同模态对最终的预测结果也有不同程度的影响，通过简单的特征拼接或相加难以提取一个信息丰富且具有鲁棒性的多模态特征。

[0004] 近几年，国内外多家公司针对认知检测研发了相应产品，例如百度研发的对话认知识别平台可自动检测用户日常对话文本中蕴含的认知特征；旷视科技研发的人工智能平台已可以通过输入图片得到愤怒、厌恶、惊恐等共七类认知；深圳安视宝科技公司生产的动态认知识别系统可用于认知预警；Brain Power公司设计的Empower Me可以帮助认知障碍患者解读认知、训练他们社交技能和认知技能，并及时反馈其自身的紧张或焦虑状态。然而，上述产品大多基于语音或图像的单一模态进行认知识别，因采集模态单一导致产品设计过程中简易的单通道模式易受到噪声的影响，难以精准反应个体状态，具有一定的局限性。融合多模态的数据可以为认知状态评估及风险预警提供更全面和丰富的信息，进而提高检测精准度。

[0005] 目前认知障碍可以从神经生理和外在行为两个方面进行检测，例如脑电、瞳孔变化、肌肉电信号、面部表情等信息均可定量反应认知状态，然而目前市面上的产品大都基于语音或图像的单一模态进行认知识别，易受到噪声的影响，难以精准反应个体状态，具有一定的局限性，近期研究表明基于多模态融合的认知状态评估结果优于单模态，并且多模态融合方法可以提高检测结果的鲁棒性。但在设备研发过程中，多模态融合的设备和装置面临以下技术难点，制约了产品化的推广：

[0006] (1)现有的认知筛查装置存在无法集成如此多的模态数量，不同的采集模块之间难以实现同步采集，耗费时间多；

[0007] (2)现有的多模态采集装置大，运输困难，应用场景受限；

[0008] (3)多模态设备的人机交互和集成研究较少，限制了设备的应用场景。

[0025] 为了使本实用新型所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。

[0026] 以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本实用新型实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本实用新型。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本实用新型的描述。

[0027] 本实用新型实施例中，如图1‑2所示，提供了一种多模态便携式认知筛查装置包括手提箱(100)、显示屏模块(300)、系统控制模块、多段连接支架模块(900)、按键控制模块(400)、脑电采集模块(500)、摄像头模块(350)、蓝牙耳机装置(700)、电源模块、语音播报模块和外设模块(150)；其中，手提箱(100)设置为承载整套多模态便携式认知筛查装置的外壳，显示屏模块(300)设置在手提箱(100)的盒盖内侧，摄像头模块(350)设置在显示屏模块的上方，非侵入式眼动仪(600)设置在显示屏模块的下方；系统控制模块设置在手提箱的箱体内部，用于与平板电脑装置相连接，控制按键模块(400)、多段连接支架模块(900)、脑电采集模块(500)、蓝牙耳机装置(700)和按键控制模块(400)均设置在手提箱的箱体部分；电源模块及语音播报模块设置在手提箱的箱体内，且接口(150)和(170)均设置在手提箱的外侧。外设模块包括平板电脑装置(250)，平板电脑装置与系统控制模块相连接。显示屏模块(300)设置在手提箱(100)的盒盖内侧，通过USB接口(101)、VGA接口(102)和平板电脑相连；摄像头模块(350)设置在显示屏模块(300)的上方，非侵入式眼动仪(600)设置在显示屏模块(300)的下方，通过USB接口(101)与平板电脑相连；按键控制装置(450)通过串口与平板电脑相连；脑电采集模块(500)通过蓝牙和平板电脑相连；打印机装置(800)通过蓝牙与平板电脑相连；多段连接支架模块(900)辅助支撑平板电脑用于监护者使用；微表情识别摄像头(350)通过蓝牙与平板电脑连接。

[0028] 其中，平板电脑装置(250)内设置有多模态认知筛查与康复总模块，平板电脑装置主要负责软件部分检测系统的搭载与其他硬件模块的连接与交互。

[0029] 外置显示屏装置(300)用来在测试与训练的过程中进行显示与实现人机交互。

[0030] 按键控制模块(450)包括STM32F407VET6单片机处理器、电位器、数字按键装置、rs232模块、rs232转串口模块，用来在测试与训练的过程中实现人机交互，电位器模块和rs232模块通过rs232转串口模块与单片机处理器相连接。

[0031] 脑电采集模块(500)包括TGAM芯片、蓝牙发射模块、电极贴片、电源模块，其中电极贴片通过语音教学的指导形式让受试者将电极贴片贴于额叶正前方，点击贴片通过Micro‑USB接口有线将采集到的脑电信息传递到TGAM芯片上，采集脑电信号的经过滤波，使用巴特沃斯带通滤波器提取0.5Hz至50Hz频率之间的脑电信息，实现高抗干扰能力；模块采用单通道获取信号，数据解析，通过滤波，去除工频干扰等操作后直接输出脑波波段结果、专注度和放松度数据，将数据通过蓝牙发射模块传输到平板电脑装置。

[0032] 非侵入式眼动仪(600)通过USB接口连接于平板电脑装置，通过内置摄像头来捕捉受试者的视线位置并且将其映射为对应的屏幕坐标，后期所有的坐标数据将针对瞳孔变化情况添加的支持向量机(SVM)算法对瞳孔的落位坐标进行后期处理与分类。

[0033] 蓝牙耳机装置(700)通过蓝牙传输的方式连接于平板电脑装置，用于语音播报与语音指导。

[0034] 打印机装置通过蓝牙传输的方式连接于平板电脑装置，用于最后测试结束后的报告打印。

[0035] 具体实施过程如下：

[0036] 第一步，接上手提箱电源，打开电源开关；打开手提箱，将平板电脑装置连接上USB转接口投屏于整个外置显示屏；随后打开平板电脑中的软件，准备开始测试。

[0037] 第二步，先进行注册，注册内容包括姓名、性别、年龄、受教育年限、学历、职业，随后正式进入测试。

[0038] 在测试前，需要按照教学完成脑电采集模块的佩戴，并且按照教学要求完成脑电检测装置的佩戴、眼动检测、步态分析、微表情识别的测试后，才正式进入到数字化认知康复系统测试中。

[0039] 脑电测试环节贯穿整套后续的测试，当受试者佩戴上脑电采集模块后，会有对应的语音播报模块对脑电采集模块佩戴的教学进行播放，并且将播放佩戴的教学视频方便受试者理解。

[0040] 眼动追踪测试环节会让受试者盯住对屏幕面前场景中的小猴子，通过对一共9只小猴子的静态定位，配合对应的语音播报模块对游戏规则进行说明，随后根据静态采集的定标数据构建眼动三维模型，随后对动态的场景继续测试以采集相应的数据进行特征分析。

[0041] 其中步态分析测试和微表情识别是本测试的辅助多模态检测内容。

[0042] 步态分析测试环节让受试者对标准的步态走动范式进行模仿与通过微表情识别摄像头进行拍摄记录步态视频，通过对应的语音播报模块对规则进行说明。

[0043] 微表情识别测试环节通过让受试者模仿小猴子的不同表情，通过微表情识别摄像头对受试者的面部表情进行采集，微表情识别包括了对受试者语音引导之后的面部图像帧的摄取，主要通过针对面部图像数据，采用ResNet模型提取面部表情特征，在RAF‑DB数据集上进行预训练并微调。

[0044] 第三步，正式进入测试，测试的内容包括：认知能力，逻辑能力，记忆力，专注力，判断力，通过不同的方面来全面评估受试者大脑的健康程度。

[0045] 第一个部分是认知能力测试，此部分测试以钟表题形式呈现，用户要通过观察图片中钟表显示的时间，并通过按键0～9准确地回答时间。

[0046] 完成认知能力测试以后，接下来需要完成的是记忆能力测试，用户需要尽可能记住两种到公园的公交车组合，并正确地通过按键0～9将其填入之后的空白中。

[0047] 第二部分是判断能力测试，此部分测试旨在观察用户的判断力，题目内容是观察不同形状和不同颜色的棒棒糖，并回答问题，通过按键0～9回答对应的数量。

[0048] 逻辑能力测试分为对动物由大到小排序和辨别动物是否相同来完成。

[0049] 在完成此测试以后，最后一个测试是专注力测试，需要用户通过听前后两个数字是否相同，如相同则按键，反之则不按。用户仅能通过按键0和1完成测试。

[0050] 在完成全部测试后，系统会根据评价表得出结论，流程结束。

[0051] 最后会生成报告，形成闭环，通过软件和硬件互相配合完成整套测试。

[0052] 由于单模态数据在分析时容易受到噪声的影响，以上单模态认知障碍识别研究难以精准地反映个体状态。融合多模态的数据可以为认知筛查和康复训练提供更丰富的信息，进而增强识别效果。

[0053] 以上详细描述了本实用新型的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本实用新型的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本实用新型的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。