[0001] 本申请涉及身份认证技术领域，特别是涉及一种物联网控制系统。

[0002] 随着智能家居的日益普及，物联IoT终端设备存储了越来越多的个人私有数据，用户个人信息安全问题变动愈发重要。因用户个人隐私数据泄露造成的欺诈事件日益增多，数据安全已经成为物联用户最为关注的问题之一。

[0003] 传统的PIN码、口令和图案等普通鉴权方式需要记忆和输入正确的编码序列，容易被窃取，泄露风险高。随着传感技术的发展，生物识别鉴权技术日益兴起并广泛应用，如人脸识别、语音识别、虹膜识别和指纹识别等。

[0004] 目前的物联网家居控制系统中，不同的家居需要使用不同的身份识别方法，需要获取不同的生物身份数据进行识别，身份验证效率低下，控制效率低。

[0024] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0025] 随着传感技术的发展，生物识别鉴权技术日益兴起并广泛应用，如人脸识别、语音识别、虹膜识别和指纹识别等，它们也有着各自应用场景面临的问题。例如，密码口令方式需要记忆和输入编码序列，容易泄密；人脸识别和语音识别在嘈杂人多的移动环境中会受到很大的干扰，识别率会降低很多，没有好的网络环境配合时，使用感受会下降，导致体验不佳；虹膜识别和指纹识别等需要专门的硬件和光学结构支撑才能工作，运用不是很便利。

[0026] 因此，本申请提出了一种基于电容触摸屏的手掌识别鉴权的方法，该方法利用手机、平板和车载中控屏等的物联网电容触摸屏，采集触摸屏的原始触摸电容数据，存储成手掌图像图片文件，运用AI人工智能算法进行图像分析处理，可以方便高效的实现生物识别鉴权。

[0027] 本申请可以方便的使用手机、平板或车载中控大屏的电容触摸屏，或定制专门的智能触摸组件部署到窗、桌、墙等不同表面，利用电容触摸扫描手掌并采集原始的触摸电容数据(raw data)，用来做生物特征匹配，达到通过物体的表面来识别用户身份，实现智能表面系统，进一步可以控制物联网设备。

[0028] 相比较虹膜、指纹等生物识别技术，本申请的手掌识别方法更便捷高效，对嘈杂喧闹多变的周边复杂环境的适应性更好。虹膜、指纹等生物识别技术需要专门的硬件和光学结构设计才可以有效的工作，本申请提出的方法只需纯粹利用电容触摸屏的电容数据，即使定制专门的智能触摸组件，也是按照产品外观需求适配，而无需特别改造电容触摸屏的结构设计，简单易行。

[0029] 本申请提出的技术方法结合智能硬件、物联网和以人工智能为代表的智能科技可以打造出仿人体的智能表面技术，可以打造一种智能表面组件，它可以通过手掌特征识别人的身份，也可以通过触摸感应识别手势进而感知操作意图，当把这种智能组件应用到桌面、墙面和窗体等不同区域，并且让所有组件连入网络，形成一个分布式控制网络，打造一种无处不在的分布式智能表面，从而应用到智能家居等多种领域，使得随时随地随心操控各种物联设备成为现实。

[0030] 本申请实施例提供的物联网控制系统，可以应用于如图1所示的应用环境中。其中，电容触摸组件102通过物联网协议中央数据处理器104进行通信，中央数据处理器104通过物联网协议与物联网终端控制器106进行通信。电容触摸组件102采集用户的手掌电容数据以及手势轨迹数据，分别将手掌电容数据以及手势轨迹数据传输至中央数据处理器104；中央数据处理器104根据手掌电容数据的电容数值区间以及预设图像数据的像素值区间确定转换比例；将手掌电容数据按照转换比例转换为手掌图像数据；将手掌图像数据输入预设手掌识别卷积神经网络模型中进行识别，得到手掌身份识别结果；并根据手势轨迹数据确定手势指令，基于手掌身份识别结果将手势指令发送至物联网终端控制器106；物联网终端控制器106根据控制指令对手势指令对应的物联网设备进行控制。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。本申请实施例中的电容触摸组件与中央数据处理器也可以集成在一个终端中，电容触摸组件作为终端的显示屏，用于接收用户的电容触摸数据，中央数据处理器为终端的核心控制器，用于进行身份识别并确定控制指令。

[0031] 在一个实施例中，提供了一种物联网控制系统，该系统包括电容触摸组件、中央数据处理器以及物联网终端控制器。电容触摸组件采集用户的手掌电容数据以及手势轨迹数据，分别将手掌电容数据以及手势轨迹数据传输至中央数据处理器；中央数据处理器根据手掌电容数据的电容数值区间以及预设图像数据的像素值区间确定转换比例；将手掌电容数据按照转换比例转换为手掌图像数据；将手掌图像数据输入预设手掌识别卷积神经网络模型中进行识别，得到手掌身份识别结果；并根据手势轨迹数据确定手势指令，基于手掌身份识别结果将手势指令发送至物联网终端控制器；物联网终端控制器根据手势指令对物联网设备进行控制，预设手掌识别卷积神经网络根据手掌样本图像以及手掌图像数据对应的样本标签训练得到，样本标签用于表征用户身份。

[0032] 其中，多个电容触摸组件构成分布式智能表面组件，可以应用到桌面、墙面和窗体等多个不同位置，可以采用玻璃、木材和皮革等不同外观，构成电容触摸智能表面，负责采集用户手掌特征信息，进行手掌识别鉴权，识别用户身份，并可以捕捉用户手指手势动作数据，发送到中央数据处理模块。

[0033] 中央数据处理器接收电容触摸组件发送来的数据，通过AI人工智能算法，基于手掌特征鉴别和认证用户身份，识别用户手势动作，然后转化成操作指令，通过物联协议如MQTT等，发送给物联网终端控制器。

[0034] 物联网设备包括各种智能物联设备，如智能家居设备等，它接收到中央数据处理器发送来的指令后，会相应的执行对物联设备的操控，比如控制灯光，空调，音箱等等。

[0035] 具体地，当电容触摸组件采集并获取用户通过手掌按压得到的电压采集数据(raw data)，电压采集数据包括手掌电容数据以及手势轨迹数据，用户的电压采集数据应该是在整个手掌(左手或者右手都可以)完整地放置在电容触摸屏的有效区域内。终端对电压采集数据进行滤波降噪、信号放大、模数转换等处理，得到手掌电容数据以及手势轨迹数据，将手掌电容数据以及手势轨迹数据分别传输至中央数据处理器。

[0036] 中央数据处理器将手掌电容数据中的最小值作为电容值下界，将手掌电容数据中的最大值作为电容值上界，由手掌电容数据的电容值下界至手掌电容数据的电容值上界得到电容数值区间，预设图像数据像素值区间根据图像分辨率确定，8bit的像素值的数值区间为[0‑255]，而16bit的像素值的数值区间为[0‑65535]，24bit、32bit的根据对应像素值m位数对应数值的次方计算得到，位数为m，最小值为0，最大值为2 ‑1。若手掌电容数据的范围是8bit的，图像数据的范围也是8bit的，两者需求是匹配的。如果有其它算法需要更高精度的数据，可以将手掌电容数据缩放到16bit或者更高。根据手掌电容数据的电容数值区间以及预设图像数据的像素值区间确定转换比例。

[0037] 如图2所示，中央数据处理器将手掌电容数据中每个数据乘以转换比例，得到手掌图像数据，将手掌图像数据存储至手掌图像数据库中，可以图像文件进行存储，如JPG文件。

[0038] 中央数据处理器将手掌图像数据输入预设手掌识别卷积神经网络模型中，通过预设手掌识别卷积神经网络模型对手掌图像数据进行识别，得到手掌身份识别结果。中央数据处理器根据手掌身份识别结果发出对应的控制指令，如，开启系统，将控制指令发送至物联网终端控制器。物联网终端控制器对物联网设备进行控制。

[0039] 电容触摸组件采集用户的手势轨迹数据，将手势轨迹数据传输至中央数据处理器；中央数据处理器根据手势轨迹数据确定手势指令，将手势指令发送至物联网终端控制器；物联网终端控制器根据手势指令对物联网设备进行控制。电容触摸组件还可以用户手掌身份识别结果通过后，基于中央数据处理器发送的识别成功提示消息采集用户的手势轨迹数据，进而根据手势轨迹数据对物联网设备进行控制。

[0040] 具体地，如图3所示，电容触摸组件采集用户的触摸手指数以及手指触点坐标(x，y)，通过手指数量以及手指触点的坐标(x，y)的变化来确定的用户的手势轨迹数据，即手势轨迹电容数据，将手势轨迹数据传输至中央数据处理器。中央数据处理器根据距离公式2 2
(x1‑x2) +(y1‑y2) 以及手势轨迹数据确定手势指令，将手势指令发送至物联网终端控制器；物联网终端控制器根据手势指令对物联网设备进行控制。若本申请用对智能电灯进行控制，终端检测到手指数量为单指，且检测到的手势轨迹为左右滑动时，可以根据左右滑动指令切换灯光颜色，还可以根据上下滑动调整灯光的亮度，根据双指滑动切换智能电灯控制模式，还可以根据两个手指的左右滑动切换电视频道，根据两个手指的上下滑动调整电视音量，根据四个手指从外往里收缩来退出当前物联网控制模式，具体地功能如表1所示，可以根据具体的应用增加具体的功能，本申请实施在此不作限制。

[0041] 表2手势功能表

[0042]

[0043] 上述物联网控制系统，该系统包括电容触摸组件、中央数据处理器以及物联网终端控制器；电容触摸组件采集用户的手掌电容数据以及手势轨迹数据，分别将手掌电容数据以及手势轨迹数据传输至中央数据处理器；中央数据处理器根据手掌电容数据的电容数值区间以及预设图像数据的像素值区间确定转换比例；将手掌电容数据按照转换比例转换为手掌图像数据；将手掌图像数据输入预设手掌识别卷积神经网络模型中进行识别，得到手掌身份识别结果；并根据手势轨迹数据确定手势指令，基于手掌身份识别结果将手势指令发送至物联网终端控制器；物联网终端控制器根据手势指令对物联网设备进行控制，预设手掌识别卷积神经网络根据手掌样本图像以及手掌图像数据对应的样本标签训练得到，样本标签用于表征用户身份。本系统通过电容触摸组件获取用户的手掌电容数据以及手势轨迹数据，手掌电容数据以及手势轨迹数据不易受环境影响，通过中央数据处理器将手掌电容数据转换为手掌图像数据，进而通过预设手掌识别神经网络对手掌图像数据进行识别，可以得到准确的手掌识别结果，提高了身份识别准确率，根据手势轨迹数据可以快速获取用户需求，根据手势轨迹数据别手势指令，进而基于手掌识别结果发送手势指令至物联网终端控制器，物联网终端控制器根据手势指令对对应的物联网设备进行控制准确地对物联网设备进行控制，提高了物联网设备的控制效率。

[0044] 在一个可选的实施例中，中央数据处理器还用于提取电容数值区间的最大电容值以及预设图像数据的像素值区间的预设图像数据最大像素值，计算手掌电容数据的最大电容值与预设图像数据最大像素值的比例，得到转换比例。

[0045] 具体地，中央数据处理器提取电容数值区间的最大电容值以及预设图像数据的像素值区间的预设图像数据最大像素值，将预设图像分辨率对应的图像数据的最大像素值除以手掌电容数据的最大电容值，得到转换比例。例如：回传的手掌电容数据的数值在0‑100之间，那么可以把所有值都乘以2.55，使其达到0‑255之间，更好地匹配灰度图0‑255的范围。

[0046] 在一个可选的实施例中，中央数据处理器中的预设手掌识别卷积神经网络模型通过算法因子提取手掌图像数据的特征，得到手掌特征；对手掌特征进行下采样，将下采样后的手掌特征经过全连接层计算，得到手掌身份识别结果。

[0047] 具体地，中央数据处理器中的预设手掌识别卷积神经网络模型的卷积层通过一系列算法因子轮询手掌图像数据各个区域，提取手掌图像数据的轮廓特征、形状特征等，然后通过池化层对轮廓特征、形状特征等进行下采样，去除冗余信息、对特征进行压缩、简化网络复杂度、减小计算量、减小内存消耗，之后，通过全连接层的每一个节点与池化层的所有节点相连，将手掌的轮廓特征、形状特征等特征综合起来，通过将每个特征乘以对应的权重，得到整体可信度，即得到最终的手掌身份识别结果。预设手掌识别卷积神经网络模型可以用RseNet网络模型实现，也可以通过其他升降网络模型训练得到。本实施例中使用的算子如表2所示。

[0048] 表2算法因子表

[0049]

[0050]

[0051] 在一个可选的实施例中，中央数据处理器还用于对手掌图像数据进行数据增强，得到增强后的手掌图像数据；将增强后的手掌图像数据输入预设手掌识别卷积神经网络模型中进行识别，得到手掌身份识别结果。

[0052] 具体地，中央数据处理器根据图像处理函数对手掌图像数据进行数据增强，图像处理函数的功能包括合并高低字节、数值取反、截取高位信号(消噪)，归零负信号(去干扰)等等，增强手掌图像效果，以更好的进行手掌识别处理。将增强后的手掌图像数据输入预设手掌识别卷积神经网络模型中进行识别，得到手掌身份识别结果。

[0053] 在一个可选的实施例中，中央数据处理器还用于获取手掌识别训练样本以及手掌识别测试样本；将手掌训练样本图像数据输入初始手掌识别卷积神经网络进行识别，得到手掌训练样本识别结果；根据手掌训练样本识别结果以及训练样本标签对初始手掌识别卷积神经网络模型的参数进行调整；将手掌测试样本图像数据输入初始手掌识别卷积神经网络进行识别，得到手掌测试样本识别结果；根据手掌测试样本识别结果计算得到样本识别准确率，当样本识别准确率达到预设识别阈值时，得到预设手掌识别卷积神经网络模型。

[0054] 其中，手掌识别训练样本包括手掌训练样本图像数据以及对应的训练样本标签，手掌识别测试样本包括手掌测试样本图像数据以及对应的测试样本标签。样本标签指的是用户标识，以表明手掌所属的用户信息。

[0055] 具体地，采集多张手掌图像数据，手掌图像数据由采集的手掌电容数据转换得到，将多张手掌图像数据按照4:1分为训练集和测试集，训练集中存储手掌识别训练样本，测试集中存储手掌识别测试样本。

[0056] 中央数据处理器获取手掌识别训练样本以及手掌识别测试样本，将手掌训练样本图像数据输入初始手掌识别卷积神经网络进行识别，得到手掌训练样本识别结果。根据手掌训练样本识别结果以及训练样本标签对初始手掌识别卷积神经网络模型的参数进行调整。训练完成之后，根据手掌识别测试样本对初始手掌识别卷积神经网络模型的识别准确率进行验证。将手掌测试样本图像数据输入初始手掌识别卷积神经网络进行识别，得到手掌测试样本识别结果。根据手掌测试样本识别正确结果与总测试样本数量的比值计算得到样本识别准确率，当样本识别准确率达到预设识别阈值时，得到预设手掌识别卷积神经网络模型。例如，采集得到400张手掌图像数据，可以每个手掌采集多张手掌图像数据，采集多个不同的手掌图像数据，320张手掌图像数据用于训练，80张手掌图像数据用于测试，验证初始手掌识别卷积神经网络的样本识别准确率。

[0057] 在一个可选的实施例中，中央数据处理器还用于对手掌训练样本图像数据进行数据增强，得到增强后的手掌训练样本图像数据；将增强后的手掌训练样本图像数据输入初始手掌识别卷积神经网络进行识别，得到手掌训练样本识别结果。

[0058] 具体地，如图4所示，中央数据处理器根据图像处理函数对手掌训练样本图像数据进行数据增强，图像处理函数的功能包括合并高低字节、数值取反、截取高位信号(消噪)，归零负信号(去干扰)等等，增强手掌训练样本图像效果，以更好的进行手掌识别处理。将增强后的手掌训练样本图像数据输入初始手掌识别卷积神经网络模型中进行识别，得到手掌训练样本识别结果。

[0059] 在一个可选的实施例中，中央数据处理器还用于对手掌测试样本图像数据进行数据增强，得到增强后的手掌测试样本图像数据；将增强后的手掌测试样本图像数据输入初始手掌识别卷积神经网络进行识别，得到手掌测试样本识别结果。

[0060] 具体地，中央数据处理器根据图像处理函数对手掌测试样本图像数据进行数据增强，图像处理函数的功能包括合并高低字节、数值取反、截取高位信号(消噪)，归零负信号(去干扰)等等，增强手掌测试样本图像效果，以更好的进行手掌识别处理。将增强后的手掌测试样本图像数据输入初始手掌识别卷积神经网络模型中进行识别，得到手掌测试样本识别结果。

[0061] 在一个可选的实施例中，中央数据处理器根据手势轨迹数据确定手指数量以及对应的手指轨迹；根据手指数量以及对应的手指轨迹确定手势指令。

[0062] 具体地，中央数据处理器根据手势轨迹数据进行特征提取，确定手指数量以及手指轨迹，根据手指数据以及手指轨迹从预设手势轨迹数据库进行查询，确定手势指令，将手势指令通过物联网通讯协议发送至物联网终端控制器。

[0063] 在一个可选的实施例中，电容触摸组件通过物联网通讯协议将手掌电容数据传输至中央数据处理器。

[0064] 具体地，电容触摸组件通过物联网通讯协议，如MQTT协议(Message Queuing Telemetry Transport，消息队列遥测传输)，通过MQTT协议将手掌电容数据传输至中央数据处理器，中央数据处理器根据手势轨迹数据确定手势指令后，通过MQTT协议将手势指令发送至物联网终端控制器。MQTT是一个物联网传输协议，用于轻量级的发布/订阅式消息传输，可以在低带宽和不稳定的网络环境中的物联网设备提供可靠的网络服务。

[0065] 在其中一个实施例中，电容触摸组件还用于周期性侦听触碰操作，根据侦听到的触碰操作获取手掌电容数据以及手势轨迹数据。

[0066] 具体地，周期性指的是电容触摸组件按照预设检测间隔，每隔一个检测间隔，进行一次触碰操作检测，当电容触摸组件侦听到用户的触碰操作时，根据触碰操作检测并获取手掌电容数据以及手势轨迹数据。预设检测间隔可以根据检测需求来设定，例如每隔1s进行一次触碰操作检测，具体的检测间隔本实施例在此不作限定。

[0067] 应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0068] 在一个实施例中，提供了一种中央数据处理器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种物联网控制系统中的功能。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0069] 本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0070] 需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

[0071] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

[0072] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0073] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。