[0001] 本发明涉及人机交互技术领域，特别涉及一种智能感知桌面装置、感知方法及感知系统。

[0002] TUI(Tangible User Interface，实体用户界面)原称GUI(Graspable User Interface，手持式用户界面)，指直接将用户在现实生活中和物体、环境的交互动作映射为和信息空间的交互过程，其目的在于尽量将用户原有的生活体验应用于人机交互，降低信息系统使用和学习门槛，增加交互的自然性。

[0003] 现有的基于TUI技术的产品多采用图像识别的方式进行物体识别，该类产品典型的结构中包含红外补光灯，红外摄像头，投影仪和透明的投影仪成像玻璃。该产品外观形似具有单向向外透明桌面的桌子，桌面实际为投影仪成像玻璃。红外补光灯、红外摄像头和投影仪位于桌子下方，朝向桌面方向。要识别的物体下方贴有类似二维码的标记，红外摄像头对这些标记进行定位识别。虽然此产品能够进行物体识别，但是存在运行效率低、视觉效果差、体积大且结构复杂等缺点。

[0041] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0042] 本发明的目的是提供一种智能感知桌面装置、感知方法及感知系统，在支持传统触摸手势的基础上，以移动令牌的方式驱动虚拟世界中物体的移动，以实现人机交互，具有运行效率高、结构简单、成本低等优点。

[0043] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0044] 本发明实施例提供的智能感知桌面装置主要有两大部分组成：三维展示屏幕和电容模型台。其中，三维展示屏幕即为电容模型台的拓展屏幕，目前采用HDMI连接方式将三维展示屏幕和电容模型台连接。

[0045] 图1为本发明实施例电容模型台的结构示意图，如图1所示，本发明实施例提供的所述电容模型台包括令牌1、电容触摸屏2、高性能模型台主机3、模型台主机外壳4以及模型台支架5；所述令牌1放置在所述电容触摸屏2上；所述电容触摸屏2与所述高性能模型台主机3通信；所述模型台主机外壳4包裹着所述高性能模型台主机3；所述模型台支架5支撑所述模型台主机外壳4。

[0046] 其中，所述令牌1为特殊材料制作而成，所述令牌1包含多个导电材料制成的触点，每个不同的所述令牌1具有唯一的触点排列图案。所述电容触摸屏2支持40～100的多触点识别，以USB+HDMI的连接方式与所述高性能模型台主机3连接。所述高性能模型台主机3，为所述电容模型台的核心部分，包括识别引擎数据库及其配套软件。所述模型台主机外壳4，为可拆卸的主机外壳，主要起保护高性能模型台主机3的作用。所述模型台支架5，为可拆卸的支架，主要起支撑所述电容模型台的作用。

[0047] 图2为本发明实施例三维展示屏幕的结构示意图，如图2所示，所述三维展示屏幕包括高清液晶显示器6和立式显示器支架7。

[0048] 所述高清液晶显示器6为三维展示屏幕的主体部分，主要功能为显示电容模型台配套的三维展示程序；所述立式显示器支架7用于支撑所述高清液晶显示器6。

[0049] 图3为本发明实施例应用于智能感知桌面装置的感知方法的流程示意图，如图3所示，本发明实施例提供的感知方法包括：

[0050] 阶段1：硬件准备和参数设置；

[0051] 步骤101：前期硬件调试；对电容触摸屏的增益、阈值和位置进行标定调试。

[0052] 增益调整的是电容信号的强度，若电容触摸屏的玻璃较厚，需要调高电容信号的强度；阈值调整的是电容变化差值，阈值越高越敏感；位置指电容触摸屏显示部分和感应部分的对齐。

[0053] 步骤102：数据存储；将每个令牌的触点排列图案录入到识别引擎数据库中，并确定每个所述令牌的ID号以及正方向朝向。

[0054] 每个所述令牌包含3～4个触点，步骤102是在识别引擎数据库中导入各个令牌的触点排列图案(即这些触点在平面空间内的相对位置关系)，然后为该令牌分配唯一的ID号，并根据触点排列图案规定该令牌的正方向朝向，举例说明，具有三个触点的令牌的正方向朝向可定义为三个触点组成的三角形的重心指向其中一点的向量。

[0055] 步骤103：算法参数调试；根据所述电容触摸屏的实际参数，通过旋转、移动放置在所述电容触摸屏上的令牌，确定所述令牌上的触点的偏移量阈值。

[0056] 阶段2：算法预处理阶段；

[0057] 步骤104：输入触点；通过Windows/Linux系统API，提取所述电容触摸屏识别到的触点，并加入待识别触点队列中。

[0058] 步骤105：算法预处理；将本帧中所述待识别触点队列中的触点按照位置以及各个所述触点之间的距离进行k-means聚类分类，得到多个簇；每个所述簇中包含一个或多个所述令牌的触点，以及分布在所述令牌周围的人手指触点。

[0059] 阶段3：识别阶段；

[0060] 步骤106：识别；将每个所述簇中的触点与所述识别引擎数据库中导入的各个所述令牌上的触点进行特征匹配，并按照匹配相似度进行排序，将不符合令牌触点排列相对位置的触点剔除，确定排序后的每个所述簇中包含的令牌种类、令牌数量以及各个令牌的定位与朝向。

[0061] 步骤107：优化结果；结合贪心算法，对排序后的每个所述簇中的数据进行优化处理，识别出包含最多符合令牌的触点组合方式的簇为最优结果。

[0062] 步骤107的目的在于先根据一个簇内触点的排列情况，识别出所有符合令牌的触点组合方式，这些组合方式可能是互斥的，即某一触点可能同时被两个可能是令牌的组合包含，此时用贪心的思想，选择识别出最多令牌的组合方式。

[0063] 阶段4：输出阶段；

[0064] 步骤108：输出结果；将所述最优结果中令牌的定位与朝向输出为物体的定位与朝向，将各个簇中不是令牌触点的各触点输出为手指触点，并以TUIO(Table-Top User Interfaces Objects，桌面实体用户界面物体)协议的形式，通过以太网发布到本机或局域网。

[0065] TUIO协议是一种最常见的开源触摸屏协议，跨系统、跨平台，可以描述触摸屏上的手势、物体和区域，提供了多种计算机编程语言的接口。

[0066] 本发明以TUIO协议发送手势识别和令牌识别情况，以支持基于本发明的软件应用系统二次开发。

[0067] 图4为本发明实施例应用于智能感知桌面装置的感知系统的结构示意图，如图4所示，本发明实施例提供的所述感知系统包括：

[0068] 前期硬件调试模块100，用于对电容触摸屏的增益、阈值和位置进行标定调试。

[0069] 数据存储模块200，用于将每个令牌的触点排列图案录入到识别引擎数据库中，并确定每个所述令牌的ID号以及正方向朝向。

[0070] 算法参数调试模块300，用于根据所述电容触摸屏的实际参数，通过旋转、移动放置在所述电容触摸屏上的令牌，确定所述令牌上的触点的偏移量阈值。

[0071] 触点输入模块400，用于通过Windows/Linux系统API，提取所述电容触摸屏识别到的触点，并加入待识别触点队列中。

[0072] 簇确定模块500，用于将本帧中所述待识别触点队列中的触点按照位置以及各个所述触点之间的距离进行k-means聚类分类，得到多个簇；每个所述簇中包含一个或多个所述令牌的触点，以及分布在所述令牌周围的人手指触点。

[0073] 识别模块600，用于将每个所述簇中的触点与所述识别引擎数据库中导入的各个所述令牌上的触点进行特征匹配，并按照匹配相似度进行排序，将不符合令牌触点排列相对位置的触点剔除，确定排序后的每个所述簇中包含的令牌种类、令牌数量以及各个令牌的定位与朝向。

[0074] 优化结果得到模块700，用于结合贪心算法，对排序后的每个所述簇中的数据进行优化处理，识别出包含最多符合令牌的触点组合方式的簇为最优结果。

[0075] 输出模块800，用于将所述最优结果中令牌的定位与朝向输出为物体的定位与朝向，将各个簇中不是令牌触点的各触点输出为手指触点，并以TUIO协议的形式，通过以太网发布到本机或局域网。

[0076] 针对现有的技术，本发明主要具有以下优点：

[0077] 1、基于TUI(Tangible User Interface，实体用户界面)技术，实现了不依赖特殊穿戴设备的类增强现实式人机交互方式。例如：在电商展台领域，商品背后可粘贴代表此类商品的令牌，消费者将商品放置于本产品上，可根据令牌识别出商品的种类，在电容触摸屏上围绕该商品显示该商品的信息，实现类增强现实的人机交互。

[0078] 2、使用特殊材料制成的令牌，将物体识别转换为令牌识别，并最终转换为一定区域内触点位置匹配，不依赖外部摄像头，使整体设备结构紧凑、可靠性高。

[0079] 3、运行效率高；本发明的触点识别算法时间复杂度远小于基于图像识别的算法，具有更好的鲁棒性和运行效率，且令牌定位与朝向识别准确，适用于电子沙盘、智能家居等多种应用场景。

[0080] 4、物体识别引擎精度高、兼容人手操作；现有产品由于基于图像识别，对人手触点的识别效果不佳，且对拖拽、多指手势等支持不好。本发明的触点识别算法易于剔除人手触点，识别精度高。

[0081] 5、视觉效果好；现有产品成像依靠投影仪和投影仪成像玻璃，成像效果远不如本发明中的4K高清液晶显示器，且投影仪光线经过成像玻璃直射人眼，容易造成视觉疲劳，而本发明中的4K高清液晶显示器能够保护人眼，缓解视频疲劳。

[0082] 6、体积小；现有产品即使采用超短焦投影仪，机身高度也多超过80cm，且需要长方体型机箱，整体体积大。本发明主体部分体积几乎与显示屏等大，且支持自定义高度。

[0083] 7、拆装灵活，方便运输。现有产品内部结构复杂，几乎无法长途运输，只能现场安装调试；本发明拆装灵活，调试方法简单，用户可在说明书的帮助下自行完成安装调试；

[0084] 8、低碳环保。现有产品由于采用了投影仪和补光灯，整体功率多超过1.5kw，而根据不同显示屏尺寸，本发明功率多小于1kw，低碳环保。

[0085] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。