技术领域
[0001] 本实用新型涉及医疗器械技术领域，更具体的说，涉及一种多模态图像融合系统。
相关背景技术
[0002] 医学影像不仅扩大了人体的检查范围，提高了诊断水平，而且可以对某些疾病进行治疗。在传统方案中，手术室的各个医学影像设备都是在各自的显示器单独显示影像信息，因此，在进行手术时，医生需要左顾右盼，甚至需要跑到某个影像设备前观看该设备的影像信息，例如，在心电图机上查看病人的心电信息；在内窥镜上查看体内的内窥镜信息；在C形臂上查看影像信息；在显微镜上查看细节信息，等等，从而极大的浪费了手术时间，增加了病人感染的风险。
[0003] 为解决这一问题，一些公司开发了多模态影像链技术，即将手术室所有的单模态影像源接入到一起，形成一个控制链路，最后在一个医用显示器进行显示。通过将单模态显示变成多模态显示，可以大大减少医生查看影像信息花费的时间。
[0004] 由于现有的多模态显示是在同一块显示屏上显示多个单模态图像，各个单模态图像之间相互独立，没有任何关联性，因此，需要医护人员根据经验综合各个单模态图像进行疾病诊断，因此，手术范围界定的效率低，诊断过程花费时间长。实用新型内容
[0005] 有鉴于此，本实用新型公开一种模态图像融合系统，以实现各个单模态图像进行关联，从而使得医护人员可以根据多模态融合图像进行疾病诊断，大大提高手术范围界定的效率，缩短诊断过程花费的时间。
[0006] 一种多模态图像融合系统，包括：视频控制器、医学影像设备、双目摄像头、人体表面基准面定位模块、手持设备定位模块、显示器、触摸屏和键盘鼠标；
[0007] 所述人体表面基准面定位模块包括多个定位小球，每个所述定位小球记为第一定位小球，每个所述第一定位小球用于放置在预设位置，且每个所述第一定位小球具有唯一对应的小球编码，所述预设位置为：在手术部分的人体表面，在手术设定的入口附近的位置；
[0008] 所述手持设备定位模块至少包括一个定位小球，记为第二定位小球，所述第二定位小球用于放置在超声图像采集的手柄上，且每个所述第二定位小球具有唯一对应的小球编码；
[0009] 所述双目摄像头用于采集包含定位小球的位置信息的小球位置图像；
[0010] 所述触摸屏用于输入对手术模式的模式选择指令；
[0011] 所述键盘鼠标用于输入对待融合医学图像的图像选择指令；
[0012] 所述显示器用于显示多模态融合图像；
[0013] 所述视频控制器分别与所述医学影像设备、所示双目摄像头、所述显示器、所述触摸屏和所示键盘鼠标连接，所述视频控制器用于进行多模态图像融合。
[0014] 可选的，所述医学影像设备包括：C型臂、超声设备、内窥镜设备、显微镜设备和影像归档和通信系统PACS。
[0015] 从上述的技术方案可知，本实用新型公开了一种模态图像融合系统，融合系统包括：视频控制器、医学影像设备、双目摄像头、人体表面基准面定位模块、手持设备定位模块、显示器、触摸屏和键盘鼠标，在手术前，将人体表面基准面定位模块中的各个第一定位小球放置在手术部分的人体表面，在手术设定的入口附近的位置，双目摄像头采集包含所有第一定位小球的位置信息的小球位置图像，视频控制器进行多模态图像融合。本实用新型通过进行多模态图像融合，实现了将各个单模态图像进行关联，从而使得医护人员可以根据多模态融合图像进行疾病诊断，大大提高了手术范围界定的效率，缩短了诊断过程花费的时间。
具体实施方式
[0020] 下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
[0021] 本实用新型公开了一种模态图像融合系统，融合系统包括：视频控制器、医学影像设备、双目摄像头、人体表面基准面定位模块、手持设备定位模块、显示器、触摸屏和键盘鼠标，在手术前，将人体表面基准面定位模块中的各个第一定位小球放置在手术部分的人体表面，在手术设定的入口附近的位置，双目摄像头采集包含所有第一定位小球的位置信息的小球位置图像，视频控制器进行多模态图像融合。本实用新型通过进行多模态图像融合，实现了将各个单模态图像进行关联，从而使得医护人员可以根据多模态融合图像进行疾病诊断，大大提高了手术范围界定的效率，缩短了诊断过程花费的时间。
[0022] 参见图1，本实用新型实施例公开的一种多模态图像融合系统的结构示意图，该系统包括：视频控制器11、医学影像设备12、双目摄像头13、人体表面基准面定位模块14、手持设备定位模块15、显示器16、触摸屏17和键盘鼠标18。
[0023] 其中：
[0024] 医学影像设备12通过HDMI(High Definition Multimedia Interface，高清多媒体接口)与视频控制器11连接，医学影像设备12包括但不限于C型臂(DSA设备)、超声设备、内窥镜设备、显微镜设备和PACS(Picture Archiving and Communication Systems，影像归档和通信系统)，其中，DSA的英文全称为：Digital subtraction angiography，中文解释为：数字减影血管造影。
[0025] 人体表面基准面定位模块14包括多个定位小球，为方便描述，将人体表面基准面定位模块14中包含的每个定位小球记为第一定位小球，每个所述第一定位小球用于放置在预设位置，所述预设位置为：在手术部分的人体表面，在手术设定的入口附近的位置。
[0026] 比如，人体表面基准面定位模块14包括三个定位小球，分别为：定位小球1、定位小球2和定位小球3。在实际应用中，在手术部分的人体表面，在手术设定的入口附近，放置定位小球1、定位小球2和定位小球3，且定位小球1、定位小球2和定位小球3的分布为一个非等腰三角形。
[0027] 需要说明的是，人体表面基准面定位模块14中的每个定位小球都有唯一对应的小球编号。
[0028] 手持设备定位模块15至少包括一个定位小球，为方便描述，将手持设备定位模块15中包含的每个定位小球记为第二定位小球，所述第二定位小球用于放置在超声图像采集的手柄上。
[0029] 手持设备定位模块15中的包含的第二定位小球的数据依据实际需要而定，比如包括：定位小球4和定位小球5(参见图1)。
[0030] 需要说明的是，手持设备定位模块15中的每个第二定位小球都有唯一对应的小球编号。
[0031] 双目摄像头13与视频控制器11通过网口连接，双目摄像头13安装在床边缘位置，该床边缘位置为：在整个手术过程中无需变动，能够采集人体表面基准面定位模块14和手持设备定位模块15中各个定位小球的位置，且在进行多模态图像融合时不会被医护人员遮挡的位置。
[0032] 双目摄像头13用于采集包含定位小球的位置信息的小球位置图像。
[0033] 在实际应用中，双目摄像头13可以采集包含所有第一定位小球的位置信息的小球位置图像，或者采集包含所有第一定位小球和所有第二定位小球的位置信息的小球位置图像。
[0034] 显示器16与视频控制器11通过HDMI连接，显示器16用于显示多模态融合图像。为便于医护人员查看多模态图像融合后的图像，显示器16可以选用屏幕大一些的显示器，比如，55寸液晶显示器。
[0035] 本实施例中的显示器16可以显示为多分屏，比如4分屏或6分屏，同时，也可以选择[0036] 平铺显示(即不叠加模式)和图像融合模式。显示屏16的显示方式可以在触摸屏17上点击相应的按钮进行选择。
[0037] 触摸屏17与视频控制器11通过串口连接，触摸屏17用于对视频控制器11进行控制并显示人机界面。具体的，触摸屏17用于输入对手术模式的模式选择指令，其中，不同的手术模式对应的医学影像设备12相同或不同。
[0038] 键盘鼠标18与视频控制器11通过USB(UniversalSerialBus，通用串行总线)连接。键盘鼠标18用于输入对待融合医学图像的图像选择指令。
[0039] 视频控制器11用于获取对待融合医学图像的图像选择指令，从已存储的各个医学图像中，选择与所述图像选择指令对应的各个待融合医学图像，获取预处理得到的图像融合基准面，根据所述图像融合基准面上各个第一定位小球的相对位置，将各个待融合医学图像在所述图像融合基准面上进行融合，得到多模态融合图像。
[0040] 其中，视频控制器中已存储的各个医学图像为：预先选择的手术模式对应的各个医学影像设备采集的医学图像。
[0041] 所述图像融合基准面为对双目摄像头采集的包含所有第一定位小球在所述预设位置的小球位置图像进行处理后得到。
[0042] 综上可知，本实用新型公开的多模态图像融合系统，包括：视频控制器11、医学影像设备12、双目摄像头13、人体表面基准面定位模块14、手持设备定位模块15、显示器16、触摸屏17和键盘鼠标18，在手术前，将人体表面基准面定位模块14中的各个第一定位小球放置在手术部分的人体表面，在手术设定的入口附近的位置，双目摄像头13采集包含所有第一定位小球的位置信息的小球位置图像，视频控制器11通过对小球位置图像进行处理得到图像融合基准面，视频控制器11根据获取的图像选择指令获取对应的各个待融合医学图像，根据图像融合基准面上各个第一定位小球的相对位置，将各个待融合医学图像在图像融合基准面上进行融合，得到多模态融合图像。本实用新型通过将单模态图像的各个待融合医学图像进行融合，实现了将各个单模态图像进行关联，从而使得医护人员可以根据多模态融合图像进行疾病诊断，大大提高了手术范围界定的效率，缩短了诊断过程花费的时间。
[0043] 参见图2，本实用新型实施例公开的一种多模态图像融合方法流程图，该方法应用于图1所示实施例中的视频控制器，该方法包括：
[0044] 步骤S101、获取对待融合医学图像的图像选择指令；
[0045] 需要说明的是，视频控制器在接收到图像选择指令后，就会自动进入图像融合模式。
[0046] 本实施例中，医生在手术前通过鼠标键盘选择需要进行图像融合的待融合医学图像，比如，融合C形臂图像与B超图像。
[0047] 当然，在手术过程中，医生也可以通过鼠标键盘选择待融合医学图像。选择待融合医学图像的时间点根据实际需要而定，本实用新型在此不做限定。
[0048] 步骤S102、从已存储的各个医学图像中，选择与所述图像选择指令对应的各个待融合医学图像；
[0049] 其中，视频控制器中已存储的各个医学图像为：预先选择的手术模式对应的各个医学影像设备采集的医学图像。
[0050] 在实际应用中，待融合医学图像可以包括：C形臂图像(人体正位图像、人体侧位图像)，G形臂图像(人体正位图像、人体侧位图像)，手术过程中B超图像、手术过程中的内窥镜图像。
[0051] 步骤S103、获取预处理得到的图像融合基准面；
[0052] 具体的，参见图3，本实用新型实施例公开的一种图像融合基准面的获取方法流程图，该方法应用于视频控制器，该方法包括：
[0053] 步骤S201、获取放置在预设位置的人体表面基准面定位模块中各个第一定位小球的实际位置信息；
[0054] 其中，所述预设位置为：在手术部分的人体表面，在手术设定的入口附近的位置。
[0055] 所述实际位置信息包括：各个第一定位小球的小球编号和体积大小，以及各个第一定位小球彼此之间的最短距离。
[0056] 需要说明的是，本实施例中，各个第一定位小球的体积大小相等。
[0057] 获取第一定位小球的体积大小的原因为：由于各个第一定位小球与双目摄像头的远近差距，使得在双目摄像头采集的图像上呈现的各个第一定位小球的大小是不一样的。本实用新型通过将根据图像计算出来的各个第一定位小球的像素灰度区域大小与实际第一定位小球的特征参数进行对比，得出双目摄像头与各个第一定位小球之间的距离相关信息，以此作为双目摄像头计算距离时的一个修正量，从而提高距离计算精度。
[0058] 本实施例中，当各个第一定位小球均放置在预设位置后，可以由医护人员手动测量各个第一定位小球彼此之间的最短距离，并将测量得到的最短距离通过键盘鼠标输入至视频控制器。
[0059] 其中，每个第一定位小球都有唯一对应的小球编号。
[0060] 需要说明的是，人体表面基准面定位模块包括多个第一定位小球，比如包括三个第一定位小球，分别为：定位小球1、定位小球2和定位小球3。在实际应用中，在手术部分的人体表面，在手术设定的入口附近，放置定位小球1、定位小球2和定位小球3，且定位小球1、定位小球2和定位小球3的分布为一个非等腰三角形。
[0061] 步骤S202、获取双目摄像头采集的包含所有第一定位小球的位置信息的小球位置图像；
[0062] 步骤S203、根据各个第一定位小球的实际位置信息，对所述小球位置图像中的各个第一定位小球的位置进行调整，使所述小球位置图像中的各个第一定位小球的位置与实际位置一致；
[0063] 步骤S204、将调整完成的小球位置图像确定为图像融合基准面。
[0064] 步骤S104、根据所述图像融合基准面上各个第一定位小球的相对位置，将各个待融合医学图像在所述图像融合基准面上进行融合，得到多模态融合图像。
[0065] 需要说明的是，在实际应用中，只有C形臂图像上有定位小球，其他待融合医学图像上没有定位小球的图像，而是只有各自设备的图像信息。虽然C形臂图像以外的其他待融合医学图像没有定位小球的影像，但每个待融合医学图像都有基于定位小球1、定位小球2和定位小球3推导出来的基准面。
[0066] 融合过程：当确定图像融合基准面后，各个待融合医学图像都是基于这个图像融合基准面进行融合计算。
[0067] 举例说明各个待融合医学图像在图像融合基准面上进行融合的过程，如下：
[0068] 假设待融合医学图像为：C形臂图像，手术过程中，操作者将定位小球1、定位小球2和定位小球3放置于病人体表。C形臂通过其设备自有技术中的放射成像及图像重建技术得到一个C形臂图像，该C形臂图像含有定位小球1、定位小球2和定位小球3的图像信息。
[0069] 将具有定位小球图像信息的C形臂图像输入至视频控制器。
[0070] 视频控制器会对定位小球的图像进行分析比对，找出定位小球1、定位小球2和定位小球3的位置，通过灰度值测量定位小球1、定位小球2和定位小球3大小。将已知的提前输入的定位小球特征信息与图像中各个定位小球彼此距离进行匹配。实时调整图像位置与显示臂力大小，使定位小球位置与已知的提前输入的定位小球特征信息一样。
[0071] 当两者一样时，得到C形臂图像的基准信息。至此认定为C形臂的影像源与双目摄像头的影像源基准面匹配成功。
[0072] 假设待融合医学图像为：B超图像，本实施例在B超手柄上绑定一个定位小球(小球编号为4)，人工测量定位小球4与探头接触人体体表点的距离值，并将该距离值输入到视频控制器中。
[0073] 双目摄像头实时采集定位小球4与定位小球1、2、3的距离位置图像，并发送至视频控制器，视频控制器根据所述距离位置图像标定B超图像与其他图像的相对关系。
[0074] 假设待融合医学图像为：内窥镜图像，与B超图像类似，在内窥镜的手柄上绑定一个定位小球(小球编号为5)，人工测量小球5与内窥镜进入人体侧最末端的距离值。在手术过程中，视频控制器根据定位小球5与定位小球1、2和3的位置，来标定内窥镜在人体内进入的深度。
[0075] 需要特别说明的是，当待融合医学图像在手术过程中发生改变时，融合得到的多模态融合图像也相应的发生变化。
[0076] 需要特别说明的是，多模态融合图像中可以看到各个待融合医学图像，比如，多模态融合图像为对B超与C臂两种影像融合得到，则在多模态融合图像位置可以看到B超与C臂两种影像，从而使得图像信息更具体，理由手术开展。在实际应用中，可以在显示器的其他分屏中显示融合前的各个待融合医学图像，以便手术者根据融合前的图像和融合后的图像，更直观的进行对比。
[0077] 综上可知，本实用新型公开了一种多模态图像融合方法，在手术前，将人体表面基准面定位模块中的各个第一定位小球放置在手术部分的人体表面，在手术设定的入口附近的位置，双目摄像头采集包含所有第一定位小球的位置信息的小球位置图像，视频控制器通过对小球位置图像进行处理得到图像融合基准面，视频控制器根据获取的图像选择指令获取对应的各个待融合医学图像，根据图像融合基准面上各个第一定位小球的相对位置，将各个待融合医学图像在图像融合基准面上进行融合，得到多模态融合图像。本实用新型通过将单模态图像的各个待融合医学图像进行融合，实现了将各个单模态图像进行关联，从而使得医护人员可以根据多模态融合图像进行疾病诊断，大大提高了手术范围界定的效率，缩短了诊断过程花费的时间。
[0078] 为进一步优化上述实施例，步骤S104之后还可以包括：
[0079] 将多模态融合图像输出至显示器进行显示。
[0080] 具体的，可以将多模态融合图像输出至显示器的一个分屏上进行显示。
[0081] 在实际应用中，为便于医生对手术位置进行定位，还可以在显示器上显示3D人体解剖图，该3D人体解剖图为后台数据库中预先存储的，3D人体解剖图和多模态融合图像在显示器的不同分屏上进行显示。
[0082] 需要说明的是，还可以在显示器上显示融合前的各个待融合医学图像。
[0083] 举例说明，显示器中往往设定多模态显示六个分屏：
[0084] 左上角显示多模态融合图像；
[0085] 上中为融合来源1(例如C形臂图像)；
[0086] 左下为融合源源2(例如B超图像)；
[0087] 右上为实时变化的3D解剖图像；
[0088] 下中为PACS病历数据；
[0089] 右下为心电监护仪数据。
[0090] 为进一步优化上述实施例，多模态图像融合方法在执行步骤S101之前，还可以包括：
[0091] 获取对手术模式的模式选择指令，根据所述模式选择指令确定与所述手术模式对应的各个医学影像设备；
[0092] 获取每个所述医学影像设备采集的医学图像，并进行存储。
[0093] 本实施例中，医生在手术前可以在触摸屏上选择手术模式，该手术模式包括但不限于普通外科、创伤矫形、微创介入、神经外科等等。由于不同的手术模式所需的医学影像可能不同，因此，不同的手术模式可能对应的医学影像设备。
[0094] 可选的，不同手术模式对应的医学影像可以在显示器的不同的位置进行显示，比如，普通外科对应的医学影像显示在显示器的右下角。
[0095] 在确定医生选择的手术模式对应的各个医学影像设备后，视频控制器就会实时获取各个医学影像设备采集的医学图像，并进行存储。
[0096] 为便于医护人员在对患者进行手术时，查看多模态融合图像在3D人体解剖图中的位置，可以在显示器的一个分屏上显示3D人体解剖图，或者将3D人体解剖图与各个待融合医学图像进行融合。
[0097] 因此，为进一步优化上述实施例，步骤S104具体可以包括：
[0098] 获取3D人体解剖图；
[0099] 根据所述图像融合基准面上各个第一定位小球的相对位置，将所述3D人体解剖图和各个所述待融合医学图像在所述图像融合基准面上进行融合，得到所述多模态融合图像，其中，所述3D人体解剖图为所述多模态融合图像中作为底层的图像。
[0100] 为进一步优化上述实施例，多模态图像融合方法还可以包括：
[0101] 将所述3D人体解剖图、所述多模态融合图像以及每个所述待融合医学图像输出至显示器的一个分屏进行显示。
[0102] 综上可知，本实用新型公开了一种多模态图像融合方法，在手术前，将人体表面基准面定位模块中的各个第一定位小球放置在手术部分的人体表面，在手术设定的入口附近的位置，双目摄像头采集包含所有第一定位小球的位置信息的小球位置图像，视频控制器通过对小球位置图像进行处理得到图像融合基准面，视频控制器根据获取的图像选择指令获取对应的各个待融合医学图像，并获取3D人体解剖图，根据图像融合基准面上各个第一定位小球的相对位置，将3D人体解剖图和各个待融合医学图像在图像融合基准面上进行融合，得到多模态融合图像，并将3D人体解剖图、多模态融合图像以及每个待融合医学图像输出至显示器的一个分屏进行显示。本实用新型通过将单模态图像的各个待融合医学图像和3D人体解剖图进行融合，实现了将各个单模态图像进行关联，从而使得医护人员可以根据多模态融合图像进行疾病诊断，大大提高了手术范围界定的效率，缩短了诊断过程花费的时间。
[0103] 另外，在3D人体解剖图的对比下，融合选择的各个待融合医学图像，可以便于医护人员实时查看病人内部的相对信息，从而大大减少了医生的负担，对需要影像引导下的穿刺手术，无论医生度解剖结构是否熟悉，都可以在本实用新型提供的技术支持下，很清晰的进行手术，并且，本实用新型还有效减少了因医生反复定位而造成的手术时间长，导致病人出血量多的情况出现。
[0104] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0105] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0106] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本实用新型。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本实用新型的精神或范围的情况下，在其它实施例中实现。因此，本实用新型将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
