技术领域
[0001] 一种用于确定患者对主观医学测试、特别是主观眼科测试的刺激感知的响应的确定性水平的计算机实施方法以及因此的装置。
相关背景技术
[0002] 通常，在进行主观测试(比如主观验光)时，从业者应考虑不同的参数(客观和主观)来选择下一个“刺激感知”，即，选择下一个刺激或下一个镜片。主要主观参数之一是患者对刺激的响应，换言之，患者对刺激的敏感水平：(“是”/“否”/“EABCD”/“1”/“2”……)。从业者给该回答的确定性估值，以检查该回答是正确的(实际上是患者看到的)还是猜测的。对患者确定性的评价将帮助从业者衡量响应的内容，以便根据患者情况决定或调整主观测试的下一步(或最终评估)。这种调整是基于从业者的技能首先根据他自己对患者响应和患者确定性的评价、其次根据他的实践知识和他的经验来进行的，以决定和适配下一步(或最终评估)。
[0003] 例如，EP 3272274描述了一种用于通过考虑个人在表达视觉评估时的确定性程度来测量个人的屈光参数的方法。在本申请中，确定性程度可以由从业者评估。
[0004] 然而，已知的是，从业者对患者确定性的评价以及由此对下一步的适配是解释从业者对于同一组患者的验光结果以及因此验光结果质量的变化性高的原因之一。
[0005] 此外，当主观测试自动化时，用于评估患者确定性的模型并不是个性化的。实际上，根据患者，所获得的确定性水平可能不太适合患者(不太准确的值……)。
[0006] 因此，需要一种允许自动测量患者确定性的方法，以便改善从业者之间的主观测试可再现性。
具体实施方式
[0073] 在以下描述中，附图不一定按比例绘制并且为了清楚和简明的目的或出于信息目的，某些特征可能以广义的或示意性形式示出。另外，尽管在下文详细讨论了制造和使用多个不同实施例，但应理解的是，如本文所述提供了可以在多种背景下实施的许多发明构思。
[0074] 本文讨论的实施例仅仅是表示性的而不限制本发明的范围。对于本领域技术人员来说还显而易见的是，相对于方法限定的所有技术特征可以单独或组合地转置到装置，反之，相对于装置的所有技术特征可以单独或组合地转置到方法。
[0075] 为了避免用于实践本发明的不必要细节，本说明书可以省略本领域技术人员已知的某些信息。
[0076] 图1图示了表示根据本说明书的实施例的用于确定患者对主观医学测试的刺激感知的响应的确定性水平的方法的流程图。
[0077] 主观医学测试可以是当患者的响应是获得主观医学测试结果的重要标准时患者需要传达其刺激感知的至少一个阶段。在医学主观测试期间，向患者呈现刺激感知。
[0078] 主观医学测试的阶段包括刺激感知和患者对刺激感知的响应。阶段的结果是对患者响应的评价。主观医学测试可以包括至少一个阶段。主观医学测试可以是医学测试的子部分。
[0079] 主观医学测试可以是具有视觉刺激感知(验光表、光、颜色……)的眼科测试，例如屈光测试(球镜度、散光)，比如交叉柱镜测试、红/绿测试、双眼测试、除雾测试、平衡测试、下加光测试；对光敏感度的评估，主眼评估，双眼测试。主观医学测试可以是整个医学测试(例如，确定矫正)、医学测试的一部分(例如，确定OD球镜)、或主观医学测试的子部分(例如，确定OD球镜的步骤)。
[0080] 主观医学测试可以是具有音频刺激感知的音频测试或任何类型的医学主观医学测试。
[0081] 主观医学测试可以是患者疼痛评估或患者舒适度评估。主观医学测试可以在医疗中心(眼科医师、医院……)或在商店(视力测定、眼镜店……)或远程(比如远程医疗/远程视力测定)或在研究中心实现。
[0082] 主观医学测试可以由从业者或患者自己或任何类型的人或由装置进行。
[0083] 向患者提供刺激感知。“刺激感知”意指对刺激的感知，比如视觉刺激(光、图片……)、听觉刺激、嗅觉刺激、触摸刺激、特定条件下的敏感刺激。刺激感知可以包括刺激源和刺激源的矫正元件。例如，对于眼科应用，刺激感知可以包括视标(刺激源)和患者通过其观看图片的镜片(刺激源的矫正)。
[0084] 患者对刺激感知做出响应。“响应”意指例如回答问题、说话、书写、点击、选择选项以表达其对刺激感知的敏感水平。例如，通过从业者或计算机询问具有不同选项的问题，比如“看到字母了吗？”、“现在好点了吗？”、“听到声音了吗？”。
[0085] 患者以一定的确定性水平从所呈现的选项中选择一个选项。确定性水平可以包括三个不同的概念：
[0086] “确定”：通过消除其他选项来最终选择一个选项。比如“是/否”。
[0087] “犹豫”：对各个选项进行批判性质疑，使得可以选择最有可能的选项，但又不完全排除其他选项。比如“可能是……”。
[0088] “迟疑不决”：无法在各个选择之间做出选择。比如“我不知道”。
[0089] 这3个概念可以转换成几个确定性水平。此外，“犹豫”水平还可以细分为几个中间水平以具有更细的网格。
[0090] “迟疑不决”与“犹豫”之间的区别在于患者的最终回答：他是否能设法做出选择？[0091] 如图1所示，该方法包括提供训练数据集的步骤。训练数据集包括至少一个生理信号11，生理信号与患者响应的确定性水平12相关联。
[0092] 至少一个生理信号可以是生理数据(血压、汗液……)，面部表情，身体表情，语音和声音分析和情绪，回答时间，传达时间，用于确定患者行为/响应的任何其他相关量，患者个人数据：年龄、性别……
[0093] 以下给出了特定生理数据的一些示例：
[0094] 语音：
[0095] ‑语音音调(相对分贝)
[0096] ‑每个词的持续时间
[0097] ‑呼吸和口气
[0098] ‑沉默
[0099] 语言：
[0100] ‑犹豫/迟疑不决的拟声词：“呃”、“嗯……”、……
[0101] ‑犹豫/迟疑不决的语义：“不确定”……
[0102] ‑表达个人观点的语义：“我认为”、“在我看来”、“也许”
[0103] 身体：
[0104] ‑注视方向
[0105] ‑皱眉、扬眉
[0106] ‑位置不适(患者扭动等)
[0107] ‑生理信号：心率、汗水、呼吸速率、血压、甚至瞳孔直径……
[0108] 例如，对于高“确定性”水平，训练数据集可以使用：
[0109] ‑回答是以自信的语气给出的。
[0110] ‑响应时间，例如<3秒、例如<5秒。
[0111] 例如，对于“迟疑不决”和“犹豫”，训练数据集可以使用：
[0112] ‑响应时间，例如>5秒
[0113] ‑患者想要查看不同选项的次数。
[0114] 因此，获得训练数据集可以包括：
[0115] ‑确定患者小组：选择年龄、性别、国家、具有或不具有病理、不同的视觉矫正(球镜、柱镜、轴位、下加光、斜视……)；
[0116] ‑确定主观医学测试检查(以及例如远程或在医院中实现检查的条件)；
[0117] ‑记录生理信号(语音、信号等)作为每个患者在其检查期间的响应的输入。可能需要校准/特定于传感器的校准；
[0118] ‑记录与患者在其测试期间的每个响应的输入相关联的确定性水平。
[0119] 根据实施例，该方法可以包括：
[0120] ‑记录参考生理信号。例如，向患者询问至少一个问题(获取所有参考生理信号和相关联的确定性水平)。问题的示例：
[0121] ‑“你的名字是什么？”→确定
[0122] ‑“今年是哪一年？”→确定
[0123] ‑“喜欢蓝色还是粉色？”→犹豫或迟疑不决或确定
[0124] ‑“喜欢爵士乐还是布鲁斯？”→犹豫或迟疑不决或确定
[0125] ‑“Pi的小数点后第10位是多少？”→迟疑不决
[0126] 确定与参考生理信号相关联的确定性水平的实施例的示例可以由比如患者或从业者或从业者或患者或多个从业者/患者等人来实现/评估。
[0127] 单独或组合地，可以通过建立决定规则来帮助确定与参考生理信号相关联的确定性水平，从而允许从业者尽可能可再现地选择确定性水平。这些规则可以基于段落[079]至[086]的示例。
[0128] 另外，为了减少这种评估中工作人员间的偏见，可以要求几名从业者在场，以同时评估确定性水平(附加于对患者进行检查和做标记的从业者)。
[0129] 然后，使用训练数据集11、12来训练机器学习模型13。
[0130] 机器学习模型训练
[0131] 可以使用训练数据集来训练机器学习模型。这些数据可以采用相同的格式并且包含的信息与稍后将提供给经训练的机器学习模型以进行预测的信息相同。机器学习模型可以将观察到的数据点的训练集作为输入以“学习”方程式、一组规则、或一些其他数据结构。这种学习到的结构或统计模型于是可以用于对训练集进行概括或对新的数据进行预测。如本文使用的，“统计模型”是指任何学习到的和/或统计的数据结构，其建立或预测两个或更多个数据参数(例如，输入与输出)之间的关系。尽管以下参考神经网络对本发明进行了描述，但根据本发明可以采用其他类型的统计模型。
[0132] 例如，训练数据集中的数据点可以包括与数据点中的另一个值相关或预测该另一个值的一组值。在本发明中，机器学习模型被配置成将与作为输入而提供给机器学习模型的确定性水平有关的至少一个生理信号与患者的行为相关联。
[0133] 可以通过向模型提供例如如之前所解释的与一组初始患者有关的多个初始数据来对机器学习模型进行训练。
[0134] 所述训练数据集包括多个所获取的学习信号，该多个所获取的学习信号表示与该组中的每个初始患者的确定性水平有关的至少生理信号的至少一个特征的变化。
[0135] 迭代地进行该训练，直到模型足够准确。作为示例，训练该模型可能意味着至少一百名初始患者。
[0136] 可以根据给定的主观医学测试来具体地选择输入数据。
[0137] 因此，机器学习模型是经训练的机器学习模型。
[0138] 机器学习模型的训练可以在与用于基于经训练的机器学习模型确定确定性水平的计算机/控制单元不同的计算机/控制单元上、或者在同一计算机/控制单元上进行。
[0139] 机器学习模型的训练可以在与基于经训练的机器学习模型确定确定性水平时的时间相同的时间或不同的时间进行。
[0140] 机器学习模型的训练可以一次或多次完成和/或定期或每次使用时升级。
[0141] 机器学习模型架构
[0142] 所述机器学习模型可以基于长短期记忆(LSTM/针对文本文档)技术或卷积神经网络(CNN/针对图片)。
[0143] 特别地，例如，根据输入数据，可以使用不同类型的模型：
[0144] ‑由于语音到文本模型，语音回答可以被转换成文本。然后，可以用自然语言理解模型(例如：RNN，包括LSTM)来分析文本，
[0145] ‑可以用CNN处理图像，特别是患者的患者的图像，
[0146] ‑例如，所有经处理的信号(具有特定神经网络)可以作为输入结合到“最后部分”神经网络，其输出是患者的确定性水平。
[0147] LSTM技术是递归神经网络(RNN)的一部分。经典RNN技术包括整理成相继的层的神经节点网络。给定层中的每个节点(神经元)单向连接至下一层中的节点中的每个节点。这种结构允许在神经网络中将之前的时刻纳入考虑，因为前一个时刻t‑1的第一层连接到时刻t的第二层。该第二层也与随后时刻t+1的第三层相连，以此类推，有多个层。考虑在以前时刻提供的信号，作为输入而提供的每个信号因此以时间方式进行处理。
[0148] CNN技术使用这些信号作为图像，而不是以时间方式。多个所获取的信号与在测试持续时间内所获取的所有数据同时处理。然后对于用这多个所获取的信号获得的图像来应用图像处理数学运算，例如卷积积分，以确定机器学习模型的输出。CNN可以包括不同的层，如卷积层、池化层(最大池化)、批标归一化、激活……
[0149] 如图1所示，下一步骤是提供与多个刺激感知相关联的主观医学测试14。
[0150] 如图1所示，下一步骤是提供与刺激感知相关联的主观医学测试14。
[0151] 如之前所解释的，“对刺激感知做出响应”意指通过从业者或计算机询问具有不同选项的问题来表达对刺激感知的敏感水平。例如，可以在刺激感知呈现给患者时询问问题，比如“看到刺激感知了吗？”、“能读到哪个字母？”、“听到声音了吗？”、“镜片1还是镜片2更好？”、“看到1与2之间的差异吗？”……
[0152] 患者可以直接或经由数字接口(屏幕、平板计算机、智能电话、计算机或麦克风或语音识别装置)向从业者提供响应。
[0153] 至少一个生理信号可以是生理数据(血压、汗液……)，面部表情，身体表情，语音和声音分析和情绪，回答/传达/提供时间，用于确定患者行为/响应的任何其他相关量，患者个人数据：年龄、性别、国籍、出生国、居住国……
[0154] 输入数据的性质可以是：图像、声音、生理信号……
[0155] 如图1所示，下一步骤是根据作为经训练的机器学习模型13的输入数据的至少一个生理信号15来确定患者对刺激感知的响应的确定性水平16。所确定的患者对刺激感知的响应的确定性水平是经训练的机器学习模型的输出。
[0156] 经训练的机器学习模型的输出不是主观医学测试的结果。经训练的机器学习模型的输出是患者对主观医学测试的刺激感知的响应的确定性水平。确定性水平可以被认为是评价主观医学测试的阶段结果的权重和/或选择要在主观医学测试中进行的下一个相关阶段的权重。
[0157] 至少一个生理信号可以直接用作输入数据或者可以被预处理，比如去除噪声或归一化。
[0158] 模型的输出可以是0至1之间的分数，给出了患者对于给定回答的确定性水平(0：不确定，1：确定)或等同分类为确定性类别。
[0159] 根据可以单独或组合考虑的另外的实施例，确定性水平是类别。确定确定性类别的步骤包括：借助于经训练的机器学习模型对输入数据进行分类以确定确定性水平。
[0160] 根据可以单独或组合考虑的另外的实施例，确定性水平是分数。确定确定性分数的步骤包括：借助于经训练的机器学习模型对输入数据进行回归以确定确定性水平。
[0161] 建立模型的方法可以是(但不限于)监督学习。
[0162] 通过应用训练机器学习模型来预测根据新生理信号确定确定性水平。
[0163] 该方法允许以客观的方式评估患者的确定性水平，以便简化主观医学测试并且用通常的主观医学测试获得更好的结果。实际上，由于该方法，消除了与由从业者对患者确定性进行的评价相关的变化性。
[0164] 因此，发明人已经表明，由于该方法，可以获得患者确定性的自动或半自动测量，以便改善从业者之间主观医学测试的主观可再现性(消除了与由从业者对患者确定性进行的评价相关的变化性)。
[0165] 图2A和图2B是表示根据本说明书的用于确定患者对主观医学测试的刺激感知的响应的确定性水平的方法的实施例的两个流程图。
[0166] 与图1中一样，附图标记15、10、16是相同的。步骤和要素11、12、13、14未在图2A和图2B中示出，但是它们可以包括在图2A和图2B的实施例中。
[0167] 根据图2A和图2B的实施例，该方法可以包括以下步骤：对经训练的机器学习的输入数据或输出进行个人间和/或个人内均化21。
[0168] “个人间均化”意指考虑不同患者之间的变化性。
[0169] 输入可以是个人间均化的。因此，在向经训练的机器学习模型提供输入之前，对输入(例如生理信号)进行均化。
[0170] 输出可以是个人间均化的，比如确定性水平是均化的。
[0171] “个人内均化”意指考虑一个患者在不同时间的变化性。“归一化”意指考虑每个患者之间的变化性。
[0172] 输入可以是个人内均化的。因此，在向经训练的机器学习模型提供输入之前，对输入(例如生理信号)进行均化。
[0173] 输出可以是个人内均化的，比如确定性水平是均化的。
[0174] 就输入/输出和/或内/间均化而言，所有组合都是可能的。
[0175] “变化性”意指人的任何特征(身体或精神)的可能值的范围，比如性别、年龄、认知能力、个性、情绪、疲劳、屈光值……
[0176] 由于该实施例，与每个患者之间的情绪的差异和特异性相关的变化性被消除或至少被考虑在内。
[0177] 因此，无论患者的特征如何，主观医学测试都被简化、更有效、更可再现。
[0178] 图3是表示根据本说明书的用于确定患者对主观医学测试的刺激感知的响应的确定性水平的方法的实施例的流程图。
[0179] 与图1中一样，附图标记15、10、16是相同的。步骤和要素11、12、13、14未在图2A和图2B中示出，但是它们可以包括在图3的实施例中。
[0180] 根据图3的实施例，个人间和/或个人内均化21的步骤可以包括标准化31至少一个生理信号15’的步骤，至少一个标准化的生理信号31’是经训练的机器学习的输入数据。
[0181] “标准化”意指将不同的变量放在相同的标度上，换言之，是缩放技术，其中至少一个生理信号的值以具有低标准偏差(比如1或单位标准偏差)的平均值为中心。这意味着属性的平均值变为零，并且所得分布具有单位标准偏差。
[0182] 该实施例可以是考虑不同患者之间的变化性的一种方式。
[0183] 图4A和图4B是表示根据本说明书的用于确定患者对主观医学测试的刺激感知的响应的确定性水平的方法的实施例的两个流程图。
[0184] 与图1中一样，附图标记15、10、16是相同的。步骤和要素11、12、13、14未在图2A和图2B中示出，但是它们可以包括在图4A和图4B的实施例中。
[0185] 根据图4A和图4B的实施例，个人间和/或个人内均化21的步骤可以包括检测与患者响应的参考确定性水平42相关联的至少一个参考生理信号41的步骤。至少一个参考生理信号41和患者响应的参考确定性水平42是参考数据集。根据至少一个生理信号和参考数据集来确定患者对刺激感知的响应的确定性水平。
[0186] 因此，通过在开始对患者进行测试时检测参考数据集，并且通过在模型的输入考虑参考数据(附加于通常的特征)，或者根据患者的“正常”水平来设置输出的“阈值”，使得知道如何管理人之间的差异(因为情绪不是以标准化的方式表达的)。
[0187] 该实施例呈现了根据患者及其在测试时的特征来个性化确定确定性水平的优点。进一步地，这允许丰富输入数据以改善对机器学习模型的训练。
[0188] 换言之，这是对每个患者的一种校准，可以在测试开始、中间或结束时进行，以克服人间变化性(文化差异等)和人内(当前情绪、疲劳等)。
[0189] 可以将患者响应的参考确定性水平用作经训练的机器学习模型的输入。
[0190] 可以使用患者响应的参考确定性水平来设置输出数据的阈值。
[0191] 根据可以单独或组合考虑的另外的实施例，生理信号包括具有不同模态的信号，并且该方法包括格式化具有不同模态的生理信号。因此，可以使用不同类型的生理信号，比如视频、音频、文本以及微表达、压力测量、温度测量……
[0192] 对于该实施例，第一步骤可以是从每个信号中例如从视频中提取单模态特征。因此，例如，可以提取文本特征、音频特征和视觉特征。
[0193] 为了从视频中提取视觉特征，如之前所解释的，可以使用CNN。
[0194] 为了从视频中提取音频特征，可以使用OpenSMile或任何类型的声音提取。
[0195] 然后，可以通过融合技术(例如，级联技术)来融合来自单独模态的特征以将其映射到联合空间中。
[0196] 机器学习模型或经训练的机器学习模型可以进行格式化。
[0197] 可以在独立于机器学习模型检测到至少生理信号之后立即进行格式化。
[0198] 根据可以单独或组合考虑的另外的实施例，处理输出和/或输入数据。
[0199] 进一步地，本披露内容描述了一种用于主观医学测试的方法，该方法包括：
[0200] ‑根据本披露内容确定确定性水平，并且告知所确定的确定性水平，和/或[0201] ‑对主观医学测试的结果进行加权，和/或
[0202] ‑根据所确定的确定性水平手动地或自动地改变刺激感知。
[0203] 主观医学测试可以是：整个测试(例如，确定矫正)、测试的一部分(例如，确定OD球镜)、或测试的子部分(例如，确定DO球镜的步骤)。
[0204] 进一步地，本披露内容描述了一种用于基于通过机器学习评估患者的确定性水平来对患者进行主观医学测试的医疗装置，该医疗装置包括：
[0205] 控制单元，该控制单元被配置成确定患者对主观医学测试的刺激感知的响应的确定性水平，
[0206] 确定性水平是根据在患者对刺激感知做出响应时患者的至少一个生理信号来确定的，
[0207] 至少一个生理信号作为经训练的机器学习模型的输入数据，所确定的确定性水平作为经训练的机器学习模型的输出。
[0208] 根据实施例，该装置进一步包括：
[0209] 测试单元，该测试单元被配置成提供与刺激感知相关联的主观测试，
[0210] 检测器，该检测器被配置成当患者对刺激感知做出响应时，检测来自患者的至少一个生理信号。
[0211] 控制单元被配置成根据本披露内容的方法并且根据本披露内容的方法的实施例根据至少一个生理信号来确定患者对刺激感知的响应的确定性水平。
[0212] 控制单元可以与其中一个主观医学测试位于相同或不同的地方。
[0213] 控制单元可以与其中一个患者位于相同或不同的位置。
[0214] 呈现了用于远程医疗/远程验光或与从业者面对面使用的优点。
[0215] 检测器可以是至少一个麦克风和/或至少一个相机和/或至少一个压力检测器(物体上的压力或血压)和/或至少一个温度检测器，脑电图、视网膜电图、心脏频率检测器，或可以测量患者的生理信号的任何检测器。
[0216] 检测器可以通过蓝牙连接或wifi连接连接至控制单元。
[0217] 检测器可以放置在医疗装置上、控制单元上、患者上或固定在实现测试的房间中。
[0218] 医疗装置的主观医学测试可以是与刺激感知相关联的眼科测试，该刺激感知可以是视觉刺激感知。
[0219] 图5图示了根据本发明的实施例的用于眼科测试的装置。具体地，图5示出了使用综合验光仪头部53来确定受试者的眼睛的屈光特性或屈光矫正需求的背景，该受试者是矫正眼镜或隐形眼镜的配戴者，其矫正需求将被评估。综合验光仪头部53安装在支架上，该支架进一步与铰接臂链接。铰接臂进一步附接至综合验光仪的静止部分。当评估患者的矫正需求时，使所述患者坐在座位上，并将综合验光仪头部53的目镜放置于患者的眼睛前方。当患者通过布置在目镜后方的光学系统看时，基于患者识别在视标51上显示的字符的能力来评估患者的矫正需求。目镜和视标是测试单元。在该示例中，检测器54固定在综合验光仪头部53上。控制单元52被配置成根据由检测器记录的至少一个生理信号来确定患者对刺激感知的响应的确定性水平、以及还有控制综合验光仪。
[0220] 根据本披露内容的装置可以用于任何主观测试，更尤其是当其步骤中的至少一些步骤是自动/计算的时。用于患者视力评估、患者听力评估、患者疼痛评估、患者/客户端舒适度评估……
[0221] 例如，对于主观验光确定，该方法可以用于：
[0222] ‑患者需要阅读屏幕上的字母(比如敏锐度)的测试：根据她/他阅读行的字母的难易程度，从业者将知道应显示和测试的下一个字母大小是哪个或哪个镜片应放置在患者眼睛前方(而不是在每个步骤仅采用相同的尺寸调整因子)；或者
[0223] ‑从业者希望对所获得的验光结果进行最终检查(验证)的测试：患者表达了其关于所推荐的矫正的感觉。为了避免患者过度矫正，他可以具有高确定性水平，以确保‑+0.25D确实改善，否则保持原始验光结果。
[0224] 本领域技术人员在参考前述说明性实施例时将会想到许多另外的修改和变化，这些说明性实施例仅以举例方式给出，而且并非旨在限制本发明的范围，本发明的范围仅由所附权利要求确定。
[0225] 在权利要求中，词语“包括”并不排除其他要素或步骤，并且不定冠词“一个或一种”并不排除复数。在相互不同的从属权利要求中叙述不同的特征这个单纯的事实并不表示不能有利地使用这些特征的组合。权利要求中的任何附图标记都不应被解释为限制一组权利要求中所限定的本发明的范围。
