[0001] 本申请涉及手势交互技术领域，尤其涉及一种用于虚拟现实环境下空中手势旋转操作的显示方法。

[0002] 空中手势交互可以拓宽人机交互范围，提升交互的沉浸感和自然性，是虚拟环境(VR)中的常用交互方式之一(Erra U,Malandrino D,Pepe  L.Virtual reality interfaces for interacting with three‑dimensional graphs[J].International Journal of Human–Computer Interaction,2019,35(1):75‑88.)。空中手势依靠手部肢体和虚拟物体之间运动或者语义上的一致性实现对物体的直观、自然的控制(LaViolaJrJJ,KruijffE,McMahanRP,et al.3D user interfaces:theory andpractice[M].Addison‑Wesley Professional,2017.以及Qi J,Ma L,Cui Z,et al.Computer vision‑based hand gesture recognition for human‑robot interaction:a review[J].Complex&Intelligent Systems,2024,10(1):1581‑1606.)。空中手势旋转操作是虚拟现实空中手势交互中常见的任务，依靠手和虚拟物体的旋转运动的一致性来实现对可达域外物体的旋转操控(Mendes D,Caputo F M,GiachettiA,et al.A survey on 3dvirtual object manipulation:From the desktop to immersive virtual environments[C]//Computer graphics forum.2019,38(1):21‑45.)。

[0003] 空中手势依靠手部肢体和虚拟物体之间运动或者语义上的一致性实现对物体的直观、自然的控制。空中手势旋转操作是虚拟现实空中手势交互中常见的任务，依靠手和虚拟物体的旋转运动的一致性来实现对可达域外物体的旋转操控。但当我们在沉浸式环境中使用空中手势旋转3D对象时，往往无法达到我们在现实世界中所拥有的准确性和控制能力。这种准确性的降低源于手运动的高自由度和不稳定性，表现为虚拟物体的运动显示和心理预期轨迹的不一致(Frees S,Kessler G D,Kay E.PRISM interaction for enhancing control in immersive virtual environments[J].ACM Transactions on Computer‑Human Interaction(TOCHI),2007,14(1):2‑es.)。

[0004] 空中手势旋转操作存在因手势运动的自由度过高造成的控制不确定性问题以及手势运动的生理特征导致的运动不稳定问题，因此直接将用户的手势运动数据映射到虚拟物体的转换上会造成交互效率和精度过低的问题，针对相关问题现有研究也提出了不同的解决方案。

[0005] 针对手势高自由度运动带来的问题，现有研究大多是采用将多自由度手势运动转换为虚拟物体单自由度旋转变换的方法，如2D平面内手势控制映射(VeitM,Capobianco A,Bechmann D.Influence of degrees of freedom's manipulation on performances during orientation tasks in virtual reality environments[C]//Proceedings ofthe 16th ACM Symposium onVirtualReality Software andTechnology.2009:51‑58.)、接触式手势交互代理模型直接映射(Mendes D,Lopes P,Ferreira A.Hands‑on interactive tabletop  lego application[C]//proceedings of the 8th international  conference  on advances in  computer entertainment technology.2011:1‑8.)以及空中手势运动映射(Sturman D J,Zeltzer D.A survey ofglove‑based input[J].IEEE Computer graphics and Applications,1994,14(1):30‑
39.)等。虽然这些映射技术提高了手势交互的精度，但是违背了手势交互自然性和直观性的初衷。采用2D平面内手势控制的交互方式类似于现实世界中的鼠标控制方式，但在虚拟环境中，这种控制方式存在2D到3D的转换差异(Veit  M,Capobianco A,Bechmann D.Influence of degrees of freedom's manipulation on performances during orientation tasks in virtual reality environments[C]//Proceedings ofthe 16th ACM Symposium on Virtual Reality Software and Technology.2009:51‑58.)，用户无法直观地控制旋转操作。还有研究采用代理模型的间接交互方式来实现对虚拟物体的旋转控制。这种方法存在用户的注意力在一个被操作的对象和一个操作小部件之间来回切换的问题。

[0006] 针对手势运动不稳定性带来的问题，有研究通过运动‑显示增益(Detection ofScaled Hand Interactions in Virtual Reality:The Effects ofMotion Direction and Task Complexity)来规避手势运动的噪声，以提高手势交互的真实性和自然性。例如，指向选择任务中常用的PRISM技术就是通过降低物体转换速度，来降低因手部不稳定造成的误操作(Frees S,Kessler G D,Kay E.PRISM interaction for enhancing control in immersive virtual environments[J].ACM Transactions on Computer‑Human Interaction(TOCHI),2007,14(1):2‑es.)，可以看出，现有研究针对空中手势控制方法已展开了一些尝试，但尚未有一种能够平衡自然性和稳定性的旋转任务控制方法。

[0007] 空中手势通过用户手势和操纵物体之间对应的空间变化的心理认知一致性来实现可达域之外的虚拟物体控制，是比较直观的人机交互方式。人机交互过程可以视作一个感知‑认知‑行动的循环，行动与感知和认知密切相关。在这其中，用户的手(效应器)和眼(感受器)的感知与用户认知一致是用户感觉旋转操作显控空间耦合的关键(Ahmad A,Migniot C,Dipanda A.Hand pose estimation and tracking in real and virtual interaction:A review[J].Image and Vision Computing,2019,89:35‑49.)，而人的认知可容忍的误差范围很大(Steinicke F,Bruder G,Jerald J,et al.Analyses of human sensitivity to redirected walking[C]//Proceedings of the 2008ACM symposium on Virtual reality software and technology.2008:149‑156.)，因此手势旋转操作其实是一种模糊控制。在旋转操作过程中，用户首先通过视觉感知到虚拟物体的空间位置与朝向，之后通过手势交互旋转虚拟物体，计算机输出虚拟物体的旋转方向与角度，用户根据虚拟物体的显示不断调整手势运动方向和速度，形成一个闭环。

[0008] 因此，在虚拟环境空中手势控制旋转操作领域，为实现旋转方向的自然转换和旋转角度的精确控制，需建立显示和控制之间心理认知一致性的显控映射模型，以提升手势旋转交互的自然性和易用性。显控映射模型的技术现状主要包括以下三个方面：

[0009] (1)用户感知与认知特征

[0010] 在VR环境中的手势交互旋转操作任务中，人的手部旋转运动和所控制的虚拟物体旋转运动的认知一致是实现自然交互的目标。因此正确理解虚拟物体空间旋转运动是准确执行旋转操作的基础。

[0011] 本体运动感觉是人固有的，在虚拟现实手势交互操作过程中发挥着关键作用(Fogtmann M H,Fritsch J,Kortbek K J.Kinesthetic interaction:revealing the bodily potential in interaction design[C]//Proceedings of the 20th Australasian conference on computer‑human interaction:designing for habitus and habitat.2008:89‑96.)。对于可达域内的手势交互，用户通过利用本体感觉改善了交互过程中的动觉控制(Boeck J D,Raymaekers C,Coninx K.Exploiting proprioception to improve haptic interaction in a virtual environment[J].Presence:Teleoperators and Virtual Environments,2006,15(6):627‑636.)，但对于可达域之外的交互，本体感觉对控制能力的影响受限，可能会受到其他感官感知的进一步影响如视觉、听觉、触觉等(Boeck J D,Raymaekers C,Coninx K.Exploiting proprioception to improve haptic interaction in a virtual environment[J].Presence:Teleoperators andVirtual Environments,2006,15(6):627‑636.)。因此在缺乏触觉的情况下，视觉感知对空中手势交互中的动觉控制尤为重要。

[0012] 人对虚拟物体的旋转认知能力直接影响旋转操作的有效性(Klatzky  R L.Allocentric and egocentric  spatial representations:Definitions,distinctions,and interconnections[M]//Spatial cognition:An interdisciplinary approach to representing and processing spatial knowledge.Berlin,Heidelberg:Springer Berlin Heidelberg,1998:1‑17.以及Pietropaolo S,Crusio W E.Learning spatial orientation[J].Encyclopedia of the Sciences of Learning,2012:1969‑
1971.)。而人的空间旋转认知能力是有限的，很难想象三维空间中的物体任意方向的旋转变换(Parsons L M.Inability to reason about an object's orientation using an axis and angle ofrotation[J].Journal ofexperimental psychology:Human perception andperformance,1995,21(6):1259.)。有研究提出，为使用户在进行旋转操作时的空间旋转转换认知更加准确，旋转过程中有两个角度必须保持不变，分别为被操作对象和旋转轴的夹角以及旋转轴和操作者空间参考系的夹角。特别是被操作对象和旋转轴的夹角，对用户操作表现的影响较大。当这两个角度都是简单或规范(0°或90°)时，旋转认知的准确性会更高。

[0013] 综上，人的本体运动感觉和空间旋转认知能力是影响虚拟现实中旋转操作的认知因素。对于可达域外的空中手势旋转操作，用户的本体运动感觉受限，视觉感知对控制能力的改善尤为重要。由于人的空间旋转认知能力有限，将被操纵物体与旋转轴和空间参考系设置为正交方向有助于用户进行旋转判断。

[0014] (2)空中手势运动特征

[0015] 在虚拟现实中，用户手势运动的速度和方向是描述其运动特征的主要参数，了解用户手势运动特征是建立手势与被操作对象之间显控空间映射关系的基础。

[0016] 手势具有动态运动特征，Woodworth提出了运动阶段模型(Woodworth  R S.Accuracy ofvoluntary movement[J].The Psychological Review:Monograph Supplements,1899,3(3):i.)来解释动态运动时序特征。该模型最早用于指向运动的描述，但也有学者发现该模型可以应用到目标导向的虚拟手移动任务中(Tang M,Liu X,Dong Y,et al.Absence ofinertial load on hand decreases task performance in virtual reality interaction[J].International Journal ofHuman–Computer Interaction,2024,40(12):3219‑3233.)。根据该模型描述，手的运动过程包括两个部分：弹道阶段和调整阶段。这两个组成部分被认为是两种不同的运动控制策略：脉冲控制和肢体‑目标控制，脉冲控制是指早期运动规划的快速调整，而肢体‑目标控制则涉及离散修正，以减少后期肢体和目标位置之间的差异(Elliott D,Lyons J,Hayes S J,et al.The multiple process model of goal‑directed reaching revisited[J].Neuroscience&Biobehavioral Reviews,2017,72:95‑110.)。现有研究往往通过运动阶段的不连续性来判断手势运动阶段，他们将速度减小点(接近0)或者速度极小值点(加速度过零点，且加速度由负变为正)判断为两个运动阶段分界点(Tang M,Liu X,Dong Y,et al.Absence of inertial load on hand decreases task performance in  virtual reality interaction[J].International Journal ofHuman–Computer Interaction,2024,40(12):3219‑3233.以及Deng C L,Geng P,Hu Y F,et al.Beyond Fitts’s law:a three‑phase model predicts movement time to position an object in an immersive 3D virtual environment[J].Human factors,2019,61(6):879‑894.)。

[0017] 手势运动方向主要受到生理特性的影响，手臂运动链的约束和生物力学的作用使得用户手臂带动的手势运动具有明显的空间特性。手臂运动链，即由一系列指从肩关节到指尖的人的上肢关节连接环节。其中，上肢关节主要有肩关节、肘关节、腕关节和指关节，各个关节拥有不同的自由度和活动度。手臂运动链限制着人的手臂运动空间和姿势舒适度，整个手臂运动链的协作配合帮助用户完成各种空间位置的交互操作和交互手势。由于手臂运动链的限制，手势交互操作中手的运动方向与意图方向往往不一致，并且对于不同的运动方向，手势运动表现具有差异性。通常认为手臂弯曲的姿势比手臂伸直的姿势更舒服。当手臂运动链较长时，会导致更多的重量和惯性，同时需要更多的肌肉力量，导致交互的准确性下降(Balakrishnan R,MacKenzie I S.Performance differences in the fingers,wrist,and forearmin computer input control[C]//Proceedings of the ACM SIGCHI Conference on Human factors in computing systems.1997:303‑310.)。

[0018] 受到手臂运动链和关节活动范围等的限制，手臂运动带动的手势运动方向可能与人的意图方向不一致，这也导致了人的手势运动不同方向的表现具有差异性。而手势运动阶段的划分，可以更好地描述旋转操作中的手势运动，为建立合适的旋转角度控制显示映射机制奠定基础。

[0019] (3)旋转角速度控制显示映射机制

[0020] 现有的旋转操作速度与旋转角度的映射机制有同构映射(Hinckley K,Tullio J,Pausch R,et al.Usability analysis of3D rotation techniques[C]//Proceedings ofthe  10th annual ACM symposium on  User  interface  software and technology.1997:1‑10.以及Ware C,Rose J.Rotating virtual objects with real handles[J].ACM Transactions on Computer‑Human Interaction(TOCHI),1999,6(2):162‑180.)、静态非同构映射(Poupyrev I,Weghorst S,Fels S.Non‑isomorphic 3D rotational techniques[C]//Proceedings of the SIGCHI conference on Human Factors in Computing Systems.2000:540‑547.)和动态非同构映射(Frees S,Kessler G D,Kay E.PRISM interaction for enhancing control in immersive virtual environments[J].ACM Transactions on Computer‑Human Interaction(TOCHI),2007,14(1):2‑es.)。同构映射是手势运动与被操作物体旋转速度1:1映射，静态非同构映射是手势运动与被操作物体旋转速度1:N映射，而动态非同构映射是基于手势运动速度动态选择旋转增益比。其中，动态非同构映射与手势运动阶段相关联。基于手势运动速度来合理调节被操作物体旋转速度，可以有效减少手势运动噪声，反映出人的交互意图，从而提高用户操作精度和自然性(Bowman D A,McMahan R P,Ragan E D.Questioning naturalismin 3D user interfaces[J].Communications ofthe ACM,2012,55(9):78‑88.)。动态非同构机制的有效性在指向任务、接触式移动和接触式旋转任务中均已得到验证。

[0021] PRISM技术是一种典型的动态非同构映射技术，它通过实时运动速度来动态调整手和受控对象之间的控制显示比。速度低于最小速度时的运动被视作噪声，不产生交互作用。当用户的手势旋转速度低于最大速度阈限时，物体旋转速度将随手势旋转速度线性增长。此方法可以有效规避用户在无目的运动时所带来的手势运动噪声，并降低手势低速运动时物体的旋转速度，从而提高了操作效率和精度。有研究通过修改了PRISM技术的映射函数，得到了适用于接触式手势和手柄控制旋转操作的非同构映射技术，以满足快速粗调的需要(Gao Z,Wang H,Lv H,et al.Evaluating the effects of non‑isomorphic rotation on 3d manipulation tasks in mixed reality simulation[J].IEEE Transactions on Visualization and Computer Graphics,2020,28(2):1261‑1273.)。非同构映射技术在空中手势中的适用性尚未得到验证。

[0022] 基于手势运动的阶段特征，动态非同构旋转映射可以基于手势运动速度提供合适的增益比来满足不同运动阶段的效率和精度要求。但是现有的动态非同构映射机制是基于接触式手势交互旋转操作任务建立的，其在空中手势旋转操作任务还有待探究。

[0023] 如何根据用户实时输入的手势运动数据对虚拟物体的旋转进行精确控制，以提升现有空中手势旋转交互的自然性和易用性有待解决。

[0044] 下面将结合附图对本申请技术方案进行详细说明。

[0045] 如图1所示，本申请所述的用于虚拟现实环境下空中手势旋转操作的显示方法主要通过旋转方向的随机森林分类模型与旋转控制角速度的动态非同构映射机制实现。计算机获取人的手势位置数据后，计算固定时间双手连线向量所形成平面的法向量和夹角，继而将其转换为旋转方向欧拉角坐标和旋转角速度。之后，手势运动输入数据将到达显控映射模型，通过随机森林分类模型对手势运动方向进行判断，通过动态非同构映射机制来基于手势运动速度输出虚拟物体的旋转角度，最终转换为显示输出。

[0046] 在显控映射模型中，首先通过随机森林分类模型将手的运动方向转换为四个正交旋转方向。随机森林分类模型具有逻辑简单，运算较快等优点。在手部旋转时序特征中，四个正交旋转方向(上、下、前、后)，四个方向具有一致性、可理解性和区分能力。因此，本文建立随机森林分类模型来判断旋转轴在这四个旋转方向的归属。

[0047] 在获取VR场景的手势数据之后，首先设定一个最小速度阈值(MinS)，并以此识别和剔除那些速度低于该阈值的运动数据。接着，将手势的旋转运动数据点与虚拟物体的旋转轴方向(如上、下、前、后)对应起来，并用大量数据进行训练和验证。最后，可以采用了十折交叉验证方法，综合考虑准确率、精确率、召回率和F1分数等分类性能指标来进行详尽的性能评估，以评估模型的稳健性。

[0048] 以某虚拟现实模型应用为案例，当正方体尺寸为0.3m物体出现在被试双目中心正前方2m处时，通过实验采集20名用户的绿野仙踪法进行旋转手势的数据。以0.5s为时间窗口，记录手势旋转运动方向的单位向量(x，y，z)和手势旋转运动角速度(°/s)。计算中首先将前一次记录的双手位置连线与后一次记录的双手位置连线(相隔0.5s)转换为向量坐标，之后计算其叉积，得到旋转轴的法向量并将其转换为单位向量。手势旋转运动角速度则根据每0.5s之间的双手连线形成的夹角与运动时间之比来进行计算。

[0049] 案例为消除过渡运动和手势旋转抖动对研究数据所造成的干扰，剔除了5°/s旋转角速度以下的行为数据，使用来自20个被试旋转操作过程中每0.5s记录的手势旋转运动方向欧拉角坐标，共24831个数据点作为输入数据。将每一数据点对应的虚拟物体旋转轴方向(Upward、Downward、Forward、Backward)作为输出数据。为验证随机森林分类模型的准确性，研究将70％数据作为训练集，30％作为测试集。同时，随机森林分类模型采用十折交叉验证方法对模型的稳健性进行评估，并对准确率、精确率、召回率和F1分数在内的详尽分类性能指标进行详细评估，评估结果如表1所示。最终，训练模型的预测准确率为0.96，这表明随机森林分类模型对于预测用户的手势旋转方向具有高准确性。

[0050] 表1分类模型性能评估

[0051]

[0052]

[0053] 在显控映射模型中，通过动态非同构映射机制来进行旋转角速度的修正。在手部旋转时序特征中，将手的旋转运动划分为开启、弹道、调整、结束四个阶段。在旋转操作的开启和结束阶段中，手的运动速度较低且运动抖动较大，是旋转操作的起止。而弹道和调整阶段是对物体的旋转操作，需要将手的旋转运动和所操控虚拟物体的旋转运动在速度上做出映射。弹道阶段手的运动速度快，调整阶段运动速度慢且时间较长，是对虚拟物体旋转的精细调节。因此，可采用前人所提出基于PRISM改进的动态非同构旋转映射机制来建立用户的手势旋转角速度的分阶函数，提高旋转操作精度。

[0054] 如图2所示，放大因子K为虚拟物体和手部运动之间的线性比例。参照手势运动行为数据分析结果，确定判断运动开始的最小速度(MinS)以及比例常数(SC)。最小速度MinS可以将开启和结束阶段的手部运动数据剔除。在研究所提出的旋转角度映射机制中，随着用户操作速度的增加，特别是当速度介于最低速度MinS和一个特定的阈值速度SC之间时，将CD比线性调整,使其逐渐增大，如式(1)。

[0055]

[0056] 其中，CD表示控制‑显示比，S表示手势旋转角速度，MinS为判断运动开始的最小速度，SC表示比例常数，MinS与SC均需依据具体的场景设置。本实施例中，依据用户的行为特征，MinS可设置为4.5°/s～5°/s，SC设定为90°/s。

[0057] 通过上述描述可知，本申请所述的用于虚拟现实环境下空中手势旋转操作的显示方法能够有效实现空中手势旋转的VR显示，支持在VR中采用裸手完成可达域外物体的旋转控制，交互自然流畅且具有行为上的可解释性。

[0058] 以上为本申请示范性实施例，本申请的保护范围由权利要求书及其等效物限定。