技术领域
[0001] 本发明属于可穿戴设备领域,特别涉及基于一种人机交互装置,能供 使用者在站立、行走、坐立和躺卧时进行人机交互。
相关背景技术
[0002] 随着计算机、移动互联网和移动通信技术的日新月异的进步和相互融 合,集计算机、通讯和互联网多种高科技技术于一身的智能手机诞生并得 到了迅速的发展,然而,现今计算机头戴显示器中的虚拟现实用的显示器 不能在自然环境中供站立和行走人使用,增强现实用显示器虽然可以在自 然环境中移动使用,但使用效果差,阻碍人的正常视野,使用起来不方便, 也不舒服,不符合人体工程学,且现今的智能手机用手指触摸屏幕和语音 输入进行人机交互的方法速度慢、精确度差、综合能力差,上网浏览还可 以,使用办公软件的能力远不如现有的普通台式计算机的键盘输入,使得 与现代科技和生产力发展不可分离的台式计算机的键盘输入人机交互方 式无法在移动的可穿戴计算机中使用。为解决此难题,手指触摸、手套、 声控、激光、手形摄像识别、投影识别指动等林林总总的技术应运而生被 发明出来。但是迄今为止,还没出现与台式计算机的键盘人机交互技术输 入速度、便捷性和多功能性相当的,可用于移动可穿戴计算机、增强现实 系统计算机或虚拟现实系统计算机的,真正实用的人机交互方法和技术装 置,该技术已成为影响新一代移动可穿戴计算机发展的关键瓶颈技术。
具体实施方式
[0035] 本发明某些实施例于后面将参照所附附图做更全面性地描述,其中一 些但并非全部的实施例将被示出。实际上,本发明的各种实施例可以许多 不同形式实现,而不应被解释为限于此数所阐述的实施例;相对地,提供 这些实施例使得本发明满足适用的法律要求。
[0036] 为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实 施例,并参照附图,对本发明进一步详细说明。
[0037] 本发明实施例提供一种人机交互装置,包括:可穿戴显示器,为头戴 式显示装置;以及可穿戴键盘,包括相互分离的左手键盘和右手键盘,分 别用于左手和右手进行人机交互操作,所述左手键盘和右手键盘能够分别 设置至使用者腰腹的左侧位置和右侧位置,本发明实施例人机交互装置还 包括鼠标以及可穿戴或便携式的计算机主机。使用者在站立、行走、坐立 或躺卧等姿势时可随时使用该人机交互装置与所述的计算机进行人机交 互,输入速度快、精确度高、使用方便。
[0038] 以下具体介绍人机交互装置的各组件:
[0039] (一)可穿戴显示器
[0040] 本发明实施例中的可穿戴显示器包括:个或两个显示模组,所述可 穿戴显示器佩戴时所述显示模组位于使用者左眼和/或右眼眼睑前方预设 距离处,所述预定距离为200mm以内,每一显示模组包括微显示屏和棱 镜光学模组以及目镜,微显示屏显示的图像经棱镜光学模组成像,并通过 目镜由使用者观看,其中,微显示屏位于棱镜光学模组一端部,垂直于使 用者视平面设置,所述目镜设置在所述棱镜光学模组朝向使用者左眼或右 眼的面上,由使用者的左眼或右眼观看。
[0041] 本发明实施例中的可穿戴显示器采用头戴方式,可以采用眼镜式、帽 子式、头箍式以及头盔式等。
[0042] 本发明一实施例以眼镜式可穿戴显示器进行说明,该可穿戴显示器可 以集成在眼镜框上,造型美观,使用者可以站立或行走时使用,可穿戴显 示器并不影响使用者的正常视野,使用起来方便舒适,符合人体工程学设 计。
[0043] 图1为本发明一实施例中人机交互装置的可穿戴显示器的结构示意 图,如图1所示,本实施例中的穿戴显示器100包括一眼镜结构,具体包 括眼镜框架10及两个显示模组20。眼镜框架10包括左眼镜框11和右眼 镜框12以及分别铰接至左眼镜框11和右眼镜框12的左眼镜腿13和右眼 镜腿14。两个显示模组20分别设置在眼镜框架10的左眼镜框11和右眼 镜框12的下部框架处。镜片16可以设置在左眼镜框11和右眼镜框12中, 可以是平光镜片或与个人适配的屈光镜片,在其它实施例中也可以不设镜 片。
[0044] 图2为图1中B区域的放大图,示出了左眼镜框11的下部框架处的 一显示模组20的具体结构。如图2所示,显示模组20包括微显示屏21 和棱镜光学模组22以及目镜23,微显示屏21位于棱镜光学模组22远离 眼镜框架10中心的一端部,垂直于左眼镜框11的平面,即垂直于使用者 视平面设置。目镜23设置在所述棱镜光学模组22朝向使用者左眼的面上, 微显示屏21用于显示图像或信息,经由棱镜光学模组22传送及放大,在 位于目镜23远离使用者左眼一侧,使用者左眼可以观看该虚拟图像或信 息。
[0045] 本实施例中,如图2所示,目镜23还设置有多个卡扣231,本实施例 中为4个,用于装配与目镜23尺寸相匹配的视力矫正镜片,针对不同使 用者可以采用不同度数的视力矫正镜片,方便不同的使用者均可以从目镜 23中观看到清晰的图像或信息。
[0046] 另外,左眼镜框11安装显示模组20处设置有调节装置111,本实施 例中可以为微调螺钉,通过调节微调螺钉,可以调节显示模组20在左眼 镜框11下部框架水平方向上的位置,即显示模组20可以沿左眼镜框11 下部框架左右水平移动,通过上述调节,可以调节目镜23中心焦点与使 用者左眼瞳孔中心焦点在水平方向的相互重合度,便于不同瞳距的使用者 通过调节均可以从目镜23中观看到清晰的图像或信息。
[0047] 尽管上述说明仅针对了可穿戴显示器左侧一部分进行具体说明,本领 域技术人员可以理解的是可穿戴显示器右侧部分与左侧部分为对称设置, 可在眼镜框12的下部框架处同样设置给使用者右眼提供图像或信息的显 示模组。
[0048] 参见图1,本实施例中眼镜框架10还包括鼻架15,所述鼻架包括左 鼻架和右鼻架,分别通过连接件设置在左眼镜框11和右眼镜框12上,所 述连接件能够可塑变形,用于调节显示模组20相对于对应使用者左眼或 右眼的垂直位置和/或远近位置,通过该调节可以调节目镜23中心焦点与 使用者相应的眼瞳孔中心焦点在垂直方向的相互重合度及距离,便于不同 的使用者通过调节均可以从目镜23中观看到清晰的图像或信息。
[0049] 本实施例中,可穿戴显示器100还包括显示驱动装置30,本实施例中 为驱动集成电路板,用于给显示模组20的微显示器21提供电源、显示信 号及控制信号,如图1所示,本实施例中显示驱动装置30设置在左眼镜 腿13中,且左眼镜腿13远离左眼镜框的端部引出连接线131,本实施中 为多芯软线插头,用于连接外接电源及外接信号,给显示驱动装置30提 供电源及输入信号,该种设计避免了电源直接设置在眼镜框架10的左眼 镜腿13内,可以减轻可穿戴显示器100整体的重量,避免对使用者的耳 朵产生过重的压力。
[0050] 显示驱动装置还可以采用上述方式设置在右眼镜腿内,或者显示驱动 装置包括左显示驱动装置和右显示驱动装置,分别设置在左眼镜腿和右眼 镜腿内,这里不再详述。
[0051] 在其他实施例中,显示驱动装置及电源可以采用外接方式,连接线131 直接连接至外接显示驱动装置30,显示驱动装置再通过连接线连接至显示 模组20,驱动所述显示模组的微显示器21工作,以进一步减轻可穿戴显 示器重量对耳朵的压力。
[0052] 本实施例中,可穿戴显示器100还包括耳机40,用于匹配显示模组 20,耳机包括左耳机和右耳机,以左耳机为例,如图1所示,其从左眼镜 腿13内引出,包括由耳机线连接的耳机头和铰接关节41,使用者使用可 穿戴显示器100时,可以旋转铰接关节41,使得耳机头可以在封闭耳道位 置和半封闭耳道位置间切换,当耳机头位于封闭耳道位置,隔离环境噪声, 使用者仅能听到耳机声音,当耳机头位于半封闭耳道位置,环境声音与耳 机声音可以同时被兼听。
[0053] 本实施例中,可穿戴显示器100还包括至少一个摄像头50,摄像头的 数量不作限制,如图1所示,两个后摄像头分别设置在左眼镜腿13远离 左眼镜框11的端部和右眼镜腿14远离右眼镜框12的端部上,用于拍摄 使用者后部图像,并可以在可穿戴显示器100的显示模组20上进行显示, 为使用者提供后部信息。
[0054] 图3为图1中可穿戴显示器的A向示意图,由图3所示,摄像头50 还包括两前摄像头,分别设置在左眼镜框11和右眼镜框12表面上,用于 拍摄使用者前部图像,并可以在可穿戴显示器100的显示模组20上进行 随时显示,另外可穿戴显示器还包括至少一个麦克风60,设置在左眼镜框 11和/或右眼镜框12下部,方便使用者配合可穿戴显示器进行人机交互, 例如打电话、语音操作等。
[0055] 图4为图1中的可穿戴显示器使用状态的示意图,如图4和图2所示, 使用者佩戴上可穿戴显示器100后,显示模组20位于其对应镜框内镜片 16与使用者相应眼睛下眼睑之间的位置,图4为佩戴可穿戴显示器的使用 者的头部的右侧示意图,以下具体说明显示模组20与使用者右眼的位置 关系。
[0056] 如图2和图4所示,显示模组20中微显示屏21的图像经棱镜光学模 组22成位于目镜23远离使用者右眼一侧的方形虚像24,即使用者右眼通 过目镜可以观察到一方形虚拟屏幕,方形虚像24上边中点241与对应的 使用者右眼的连线与方形虚像下边中点242与对应的使用者右眼的连线之 间的夹角C≤35°,方形虚像24上边中点241与对应的使用者右眼的连线 与使用者水平视线之间的夹角D≥15°。使放大后的方形虚拟大屏幕图像 画面始终处于站立或行走人视野的水平视线向下15度角以下的位置。以 留出使用者的水平视线向下至少15度角以上的包括水平视线以上的视野 空间,使使用者站立或行走正常活动时有足够宽厚的视野,可穿戴显示器 100的右眼镜框12上的透明镜片可供使用者正常观看现实视野里的环境 事物,使用者还可以随时轻松垂眼下视,查看显示模组目镜里与现实完全 隔离的虚拟大屏幕图像显示的图像或信息,以增强人随时获取各种信息的 能力。
[0057] 基于上述设计,本实施例中的可穿戴显示器,不影响使用者的正常视 野,使用起来方便舒适,符合人体工程学设计,在使用者站立或行走时均 可以获得良好的体验。
[0058] 尽管本实施例给出了具有两个显示模组的示例,本领域技术人员可以 理解在其他实施例中,显示模组可以仅为一个,设置在左侧镜框11或右 侧镜框12的下部框架处,耳机也可以仅包括左耳机或右耳机。
[0059] 在其他实施例中,可穿戴显示器为帽子式、头箍式以及头盔式,此时 可穿戴显示器包括帽子、头箍或头盔,所述帽子、头箍或头盔上设置有支 撑显示模组的支撑装置,用于在可穿戴显示器使用时将显示模组固定在使 用者左眼和/或右眼眼睑前方一定距离处,可穿戴显示器不使用时,支撑显 示模组的支撑装置可以回收隐藏。相较于眼镜式可穿戴显示器,帽子式、 头箍式以及头盔式可穿戴显示器的显示驱动装置以及供电电源均可以设 置在帽子、头箍或头盔上。
[0060] (二)可穿戴键盘
[0061] 本发明实施例中的可穿戴键盘,包括相互分离的左手键盘和右手键 盘,分别用于左手和右手进行人机交互操作,所述左手键盘和右手键盘能 够分别设置至使用者腰腹的左侧位置和右侧位置,该设置可以为固定,例 如可以固定在使用者的衣、裤、裙、护腰、腰带等可穿戴衣物上,使用者 可以分别用左右手在腰间实施按键操作,从而实现站立、行走、坐立或躺 卧时,与可穿戴显示器方便、快速、高效地进行人机交互。
[0062] 图5为本发明一实施例人机交互装置中的可穿戴键盘使用示意图,该 实施例中,键盘200包括左手键盘201和右手键盘202,如图5所示,人 体为站立姿势时,左手键盘201位于人体腰腹位置衣物400的左侧位置, 右手键盘202位于人体腰腹位置衣物400的右侧位置,即左手键盘201和 右手键盘202均固定在该直立人体穿戴的衣、裤、裙、护腰、腰带等衣物 的与地面垂直的衣物表面上。使用者可以分别用左右手在腰间分别对左手 键盘201和右手键盘202实施按键输入操作,进行人机交互,左手键盘201 和右手键盘202均设有无线或蓝牙或有线的按键信号电路输出,左手键盘 201和右手键盘202的按键输出信号共同组合完成人机交互输入,且当左 手键盘201和右手键盘202采用蓝牙或无线方式进行人机交互时,其内置 电源为左手键盘201和右手键盘202供电。
[0063] 键盘组的键盘键面字符的排列方式按与如图6所示的“QWERT”柯 蒂键盘的至少26个英文字母键相同的排列顺序设置,并至少以“QWERT” 柯蒂键盘上所排列的T、G、B字母键与相邻的Y、H、N字母键的相邻线 为分界线,分成左手键盘201和右手键盘202,如图7所示,其中左手键 盘201至少含有Q、W、E、R、T、A、S、D、F、G、Z、X、C、V、B 字母按键,右手键盘202至少含有Y、U、I、O、P、H、J、K、L、N、M 字母按键,可以采用传统的盲打教程中左右手各应控制的部分分成左右分 开的两部分独立操控键盘。
[0064] 图7为图5中D区域的放大图,如图7所示,左手键盘201和右手键 盘202按键键面上的字母、数字和符号均按头朝地脚朝天的位置颠倒设置, 且对于左手键盘201,数字12345按键行,字母ZXCVB按键行,字母 ASDFG按键行以及字母QWERT按键行平行设置,且沿人体方向依次远 离人体头部排布,对于右手键盘202,数字67890按键行,字母NM按键 行,字母HJKL按键行以及字母YUIOP按键行平行设置,且沿人体方向 依次远离人体头部排布,该种设置方便使用者站立操作按压键盘需要实时 低头查看键盘字符及方便使用者左右手操作。
[0065] 本实施例中,键盘还包括定位和/或紧固装置204,用于左手键盘201 和右手键盘202连接、定位和/或紧固在使用者穿戴的与地面垂直的衣、裤、 裙、护腰、腰带等衣物表面的工作位置,方便使用者操作。如图7所示, 左手键盘201和右手键盘202的边缘或底部均设置有定位和/或紧固装置 204,且左手键盘201和右手键盘202均优选设有4个定位和/或紧固装置 204,定位和/或紧固装置优选为固紧卡板。
[0066] 为了方便使用者操作顺应使用者的左右手分开时手指按压不同按键 弯曲伸缩进退的不同方向,左手键盘201的按键行与右手键盘202的按键 行均相对于水平面倾斜设置,且左手键盘201的数字12345按键行所在的 直线与右手键盘202的数字67890按键行所在直线相交,左手键盘201的 字母ZXCVB按键行,字母ASDFG按键行以及字母QWERT按键行所在 的直线分别与右手键盘字母NM按键行,字母HJKL按键行以及字母 YUIOP按键行所在的直线相交,上述这些相交直线位于人体正面投影的夹 角γ优选大于等于5度,采用该种设置,使用者能更自然舒适地操作按压 键盘。
[0067] 图8为图5中M-M截面图,为让键盘组的左手键盘和右手键盘分别 稳定贴身地固定在使用者穿戴的衣、裤、裙、护腰、腰带等衣物的表面上 的左右工作位置,左手键盘201和右手键盘202的键面平面设置成相交平 面,具体的,如图7、8所示,左手键盘201的字母、数字、字符和功能 按键的各平面均位于左手键盘201的键面平面2011上,右手键盘202的 字母、数字、字符和功能按键的各平面均位于右手键盘202的键面平面 2021上。当采用键盘进行人机交互时,左手键盘201的键面平面2011与 右手键盘202的键面平面2021为两相交平面,该两平面相交的截面角α 优选大于等于3度,采用上述设置键盘与人体肚腹两边能较好地贴合,方 便操作。
[0068] 本实施例中,左手键盘201和右手键盘202的键面平面还可以相对于 人体表面倾斜设置,对于左手键盘201和/或右手键盘202的键面平面,相 对靠近使用者头部的键盘行的键盘顶面较相对远离使用者头部的键盘行 的键盘顶面更靠近人体,用于使用者低头时能够观看到键盘上的按键标 识,方便使用者进行正确的人机交互输入。
[0069] 在其他实施例中,左手键盘201和右手键盘202的键面可以设置成与 人体肚腹表面相符合的曲面,图9为该种情况下图5中M-M截面图,如 图7、9所示,左手键盘201的字母、数字、字符和功能按键的各平面组 成第一凸型曲面,右手键盘202的字母、数字、字符和功能按键的各平面 组成第二凸型曲面2023,第一凸型曲面的几何中心点的切平面2012与第 二凸型曲面的几何中心点2024的切平面2022为两相交平面,该两平面相 交的截面角β优选大于等于3度,采用上述设置键盘与人体肚腹两边能更 好地贴合,方便操作。
[0070] 本实施例中人机交互装置还包括至少一个承重件205,用于使用者操 作键盘时,即用左手和右手按压左手键盘201和右手键盘202时,使用者 左右手手肘呈自然弯曲状态,增加舒适性,减少疲劳。如图7所示,对应 于左手键盘201和右手键盘202,在其上方位置均设置有1个用于承受手 臂或手腕重量的承重件205,承重件的承重部位点可对应左手和/或右手的 虎口、手掌、手腕关节或手肘等部位设置,免除手部肌肉长期紧张,使使 用者轻松地操作,本实施例中,承重件205采用虎口扣带。
[0071] 尽管本实施例中以使用者站立的情形下进行表述,本领域技术人员可 以理解的是,本发明中人机交互装置还可以在使用者行走、坐立或躺卧时 与可穿戴计算机和移动通讯设备方便、快速、高效地进行人机交互操作。
[0072] 本实施例中,左手键盘和右手键盘分离设置,分别固定于使用者腰腹 的左侧位置和右侧位置,在其他实施例中,左手键盘和右手键盘可以采用 柔性材料或铰链装置连接为一体,固定于使用者腰腹的左侧位置和右侧位 置。
[0073] (三)鼠标
[0074] 图10为本发明一实施例人机交互装置的鼠标位于竖直面上工作的示 意图,如图10所示,鼠标300用于控制人机交互装置的显示装置上的光 标位置,其工作的滑动工作面
310为竖直面,此时对应于使用者处于站立 和/或行走的情况。鼠标300的底面301包括所述第一吸附材料的磁体物质 或导磁材料,滑动工作面310相应包括所述第二吸附材料的导磁材料或磁 体物质,由于磁体物质和导磁材料的相互吸引,使得鼠标300在滑动工作 面310上工作时一直被吸附在滑动工作面310上而不脱落。
[0075] 鼠标包括鼠标本体302以及设置在鼠标本体上的第一按键303和第二 按键304,第一按键303和第二按键304左右排布,分别为左按键和右按 键,滚轮305设置在所述第一按键303和第二按键304之间,为带按键的 滚轮,本实施例中的鼠标与常规鼠标类似,通过左右按键及滚轮进行操作。
[0076] 本实施例中,鼠标的滑动工作面310可以设置在键盘200表面上,如 图7所示本实施例中鼠标300的滑动工作面310设置在右手键盘202表面 上的边缘区域,用于承载鼠标300工作,结合图10,本实施例中的第一按 键303、第二按键304及滚轮305设置在鼠标本体
302远离使用者头部的 位置,便于使用者手持鼠标进行操作,符合人体工学,方便使用者站立进 行人机交互操作。
[0077] 在其他实施例中,滑动工作面310可以设置在左手键盘201表面上, 或者直接采用滑动触控板式鼠标,或者直接采用戴在指头上的指环鼠标 等。
[0078] 以下描述本实施例中鼠标的具体操作:
[0079] 当站立的使用者用手移动鼠标300在基本与地面垂直的滑动工作面 310上左右滑动时,人机交互装置的可穿戴显示器上的对应鼠标的光标被 控在该可穿戴显示器上作方向相同的左右移动,当站立的使用者用手移动 鼠标300在基本与地面垂直的滑动工作面上从下向上方向滑动,即鼠标 300向靠近使用者头部移动时,人机交互装置的可穿戴显示器上的对应鼠 标的光标被控在可穿戴显示器上从上向下方向移动,当站立的使用者用手 移动鼠标300在基本与地面基本垂直的滑动工作面上从上向下方向滑动, 即鼠标300向远离使用者头部移动时时,人机交互装置的可穿戴显示器上 的对应鼠标的光标被控在可穿戴显示器上从下向上方向移动。
[0080] 当鼠标300位置不变,站立的使用者用手指由下向上方向移动旋转滚 轮,即滚轮向靠近使用者头部滚动时,人机交互装置的可穿戴显示器上的 页面被控从下向上方向移动,站立的使用者用手指由上向下方向移动旋转 滚轮,即滚轮向远离使用者头部滚动时,人机交互装置的可穿戴显示器上 的页面被控从上向下方向移动。
[0081] 鼠标300可以设有无线或蓝牙或有线的按键信号电路输出,与两个键 盘单元的按键信号输出一起组合完成人机交互输入。
[0082] 由上述具体操作可知,本实施例中鼠标300可以由食指和中指按压按 键或滚动滚轮来完成鼠标的各种操控功能的,使站立的使用者操作鼠标更 方便、更灵活、更快速,且其操作方式与传统的鼠标基本相同,仅是将传 统鼠标在水平桌面操作改为在设在站立的使用者身体上的基本处于竖直 的滑动平面表面上操作外,操作方式与传统的操作习惯相同,人们能很快 适应本实施例鼠标的操作方法,人们无需放弃传统的操作习惯去学习适应 新的操作方法。
[0083] 在其他实施例中,鼠标的滑动工作面设置还可以固定在使用者衣袋、 裤袋或腰袋內,在此不再详述。
[0084] (四)计算机主机
[0085] 计算机主机为可穿戴式或便携式或移动智能终端式或联结移动因特 网的可移动计算机主机,方便使用者携带,计算机主机可以通过有线或无 线方式与可穿戴显示器、键盘及鼠标连接,共同构成完整的可穿戴人机交 互装置,即可穿戴计算机(Wearable computer),计算机主机为人机交互装 置提供数据处理及数据传输。
[0086] 本发明实施例中人机交互装置,可以让站立或行走的使用者能随时随 地,以传统台式计算机相同的键盘和鼠标的操作方式实现人机交互,将人 们熟知的计算机操作方式移植到可穿戴的便携式的人机交互装置中,使用 者无需放弃传统的操作习惯去学习适应新的操作方法,克服了现有的便携 式人机交互装置输入速度慢、便捷性差等问题。
[0087] 本发明中人机交互装置包括计算机,计算机为台式计算机、壁挂式计 算机、笔记本电脑、平板电脑、可穿戴计算机(Wearable computer)、便携 式计算机、智能移动终端、虚拟现实(Virtual Reality,简称VR)计算机、 增强现实(Augmented Reality,简称AR)计算机、混合现实(Mixed Reality MR)计算机、单机版计算机和联结移动因特网的移动计算机中的至少一 种。
[0088] 需要说明的是,在附图或说明书正文中,未绘示或描述的实现方式, 均为所属技术领域中普通技术人员所知的形式,并未进行详细说明。此外, 上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形 状或方式,本领域普通技术人员可对其进行简单地更改或替换。
[0089] 还需要说明的是,本文可提供包含特定值的参数的示范,但这些参数 无需确切等于相应的值,而是可在可接受的误差容限或设计约束内近似于 相应值。
[0090] 以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行 了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已, 并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、 等同替换、改进等,均应包含在本发明的保护范围之内。