[0001] 本发明涉及在由用户的手握持的同时供用户使用的操作输入设备、连接到该操作输入设备的信息处理设备、用于操作输入设备的姿势确定方法、以及信息存储介质。

[0002] 由用户使用以输入操作的一些操作输入设备（诸如，消费游戏设备的控制器）具有用于确定操作输入设备的姿势的姿势确定传感器，诸如加速度传感器、陀螺仪传感器等（参见专利文献1）。使用这样的操作输入设备，用户可以不仅通过按压操作按钮而且通过倾斜或移动操作输入设备本身，来输入各种操作。一些应用程序（诸如游戏应用程序）通过倾斜操作输入设备，可用于进行根据这样的操作输入的处理。

[0003] 引用列表

[0004] 专利文献

[0005] 专利文献1：US专利申请公开2007/0260727

[0027] 在以下，将参考附图详细描述本发明的实施例。

[0028] [第一实施例]

[0029] 图1是示出根据本发明第一实施例的操作输入设备1的外观的立体视图。在该实施例中，假设操作输入设备1是在由用户的手握持的同时供用户U使用的便携式游戏设备。

[0030] 如图中所示，操作输入设备1的外壳10作为整体具有基本上矩形面板状形状，并且具有在其表面上形成的显示单元11。图像捕获单元12附接在外壳10的顶部。注意，这里假设操作输入设备1的横向方向（经度方向）对应于X轴方向，竖向方向对应于Z轴方向，并且深度方向对应于Y轴方向。

[0031] 显示单元11可以是各种图像显示设备的任一，诸如液晶显示面板、有机电致发光显示面板等。图像捕获单元12是CCD相机等，并且捕获操作输入设备1周围的对象的图像。具体地，在图1中，图像捕获单元12的镜头指向操作输入设备1的前向方向（Y轴的正方向），并且以前向方向作为图像捕获方向Dc捕获图像。注意，图像捕获单元12的镜头以X轴方向作为旋转轴可旋转180度。相应地，图像捕获单元12的图像捕获方向Dc将从Y轴正方向经由Z轴负方向到Y轴负方向（向操作输入设备1的后表面侧的方向）改变。

[0032] 操作输入设备1具有形成在其外壳10的表面上的各种操作部件13，诸如操作按钮、模拟杆等。用户U可以操作这些操作部件13，从而输入操作到操作输入设备1。

[0033] 如图2所示，控制单元14和存储单元15提供在操作输入设备1中。

[0034] 控制单元14是CPU等，并且根据存储单元15中存储的程序进行各种信息处理。在该实施例中，控制单元14基于图像捕获单元12捕获的图像确定操作输入设备1的姿势，并且使用作为用户U的操作输入的确定结果，进行更新在显示单元11上示出的屏幕图像的处理。控制单元14进行的处理的内容将稍后描述。

[0035] 存储单元15包括存储器设备（诸如RAM、ROM等）、或硬盘驱动器等，并且存储要由控制单元14执行的程序和各种数据。存储单元15也操作为控制单元14的工作存储器。

[0036] 如图3所示，操作输入设备1功能地包括捕获图像获得单元21、姿势确定单元22和显示图像更新单元23。在该实施例中，姿势确定单元22包括图像分析单元22a和姿势参数计算单元22b。这些功能通过执行存储单元15中存储的程序由控制单元14实现。该程序可以经由通信网络（诸如因特网等）提供给操作输入设备1，或者存储在各种计算机可读信息存储介质（诸如光盘、存储卡等）的任一中。

[0037] 捕获图像获得单元21获得由图像捕获单元12捕获的捕获图像I。具体地，捕获图像获得单元21在操作输入设备1继续姿势确定处理的同时，对于每个预定时间段获得每个时间点的捕获图像I。

[0038] 注意，捕获图像I既可以是静止图像也可以是在一个时间点的运动图像中的帧图像。也即是说，图像捕获单元12可以捕获在由捕获图像获取单元21指定的时间的静止图像。可替代地，图像捕获单元12可以保持捕获运动图像，并且捕获图像获得单元21可以从运动图像提取帧图像作为捕获图像I。

[0039] 姿势确定单元22基于对捕获图像获得单元21获得的捕获图像I的分析的结果，确定操作输入设备1的姿势。

[0040] 具体地，图像分析单元22a对于每个预定时间段分析捕获图像获得单元21捕获的捕获图像I，并且指定捕获图像I中包含的对象（目标对象）。目标对象可以是在操作输入设备1的姿势确定中可以用于用作标记的任何事物，可以指定在捕获图像I中操作输入设备1的位置和方位（orientation）。这里假设，要由图像分析单元22a指定的目标对象是握持操作输入设备1的用户U的面部。操作输入设备1的用户U当使用时用他/她的手握持操作输入设备1，使得操作输入设备1位于他/她自己的面部的前面，以便观看显示单元11上示出的图像。在以上中，因为用户U的面部位于图像捕获单元12的图像捕获方向Dc，所以假设在捕获图像I中看到用户U的面部。

[0041] 图像分析单元22a指定捕获图像I中用户U的面部的中心位置（下文中称为面部位置Pf）。此外，图像分析单元22a额外指定捕获图像I中用户U的面部的倾斜（下文中称为面部方向Df）。这里假设，面部方向Df定义为用户U的头顶在捕获图像I中指向的方向。面部位置Pf和面部方向Df可以使用已知的面部识别技术指定。具体地，图像分析单元22a可以检测面部中包含的诸如眼睛、鼻子等的部分，或者在捕获图像I中分析亮度分布、颜色分布、热分布、距离分布等，以指定面部位置Pf和面部方向Df。注意，当在捕获图像I中检测到两个或更多面部时，图像分析单元22a可以指定例如捕获图像I中尺寸上最大的面部作为用户U的面部。图4示出在这样的图像分析中指定的面部位置Pf的位置坐标（xf，yf）和面部方向Df的角度值θf。注意，面部位置Pf的位置坐标（xf，yf）以原点与捕获图像I的中心位置重合的坐标系表示。面部方向Df的角度值θf表示为通过用户U的头顶的方向相对于捕获图像I的向上方向（垂直方向）形成的角。

[0042] 基于通过图像分析单元22a的分析结果，姿势参数计算单元22b计算指示操作输入设备1的姿势的姿势参数的值。具体地，基于通过图像分析单元22a指定的面部位置Pf和面部方向Df中的至少一个，姿势参数计算单元22b确定操作输入设备1的姿势。这里假设，姿势单元计算单元22b基于面部位置Pf和面部方向Df，计算滚转角（roll angle）θr、节锥角（pitch angle）θp和偏航角（yaw angle）θy作为姿势参数。如稍后要详细描述的，这些位置参数指示以在操作输入设备1上设置的各个参考轴作为旋转轴，相对于参考姿势的操作输入设备1的旋转角。

[0043] 注意，这里假设操作输入设备1的参考姿势使得用户U的面部的中心存在于在图像捕获方向Dc上延伸的直线上，并且操作输入设备1的向上方向（Z轴负方向）与从用户U的面部朝向用户的头顶的方向重合。也即是说，当操作输入设备1处于参考姿势时，面部位置Pf存在于捕获图像I的中心，并行面部方向Df在捕获图像I的向上方向上延伸。处于参考姿势的操作输入设备1的面部位置Pf和面部方向Df下文中将分别指示为参考面部位置Po和参考面部方向Do。

[0044] 滚转角θr指示以Z轴作为旋转轴，操作输入设备1相对于参考姿势的旋转角。图5A示出已经从参考姿势绕Z轴旋转的操作输入设备1，示出用户U和从其上方（Z轴负方向侧）观察到的操作输入设备1。图5B示出在图5A所示条件下捕获的捕获图像I。如这些图中所示，当操作输入设备1绕Z轴旋转时，从图像捕获单元12看时用户U在左右方向移动，并且相应地，面部位置Pf相对于捕获图像I中的参考面部位置Po在左右方向移动。然后，姿势参数计算单元22b基于面部位置Pf的x坐标值xf，使用预定函数计算滚转角θr。例如，姿势参数计算单元22b可以按照表达式θr=a1·f(xf/xmax)计算滚转角θr，其中a1是预定系数，xmax是x坐标值的最大值，并且f(x)是预定函数。作为一个示例，姿势参数计算单元22b可以基于假设滚转角θr与x坐标值xf成比例，按照表达式θr=a1·xf/xmax计算滚转角θr。函数f(x)可以是根据图像捕获单元12的结构、镜头特性等确定的校正函数。

[0045] 节锥角θp指示以X轴作为旋转轴，操作输入设备1相对于参考姿势的旋转角。图6A示出已经从参考姿势绕X轴旋转的操作输入设备1，示出用户U和从其横向侧（X轴正方向侧）观察到的操作输入设备1。图6B示出在图6A所示条件下捕获的捕获图像I。如这些图中所示，当操作输入设备1绕X轴旋转时，从图像捕获单元12看时用户U在上下方向移动，并且相应地，面部位置Pf相对于捕获图像I中的参考面部位置Po在上下方向移动。然后，姿势参数计算单元22b基于面部位置Pf的y坐标值yf，使用预定函数计算节锥角θp。
例如，姿势参数计算单元22b可以按照表达式θp=a2·g(yf/ymax)计算节锥角θp，其中类似于滚转角θr的情况，a2是预定系数，ymax是y坐标值的最大值，并且g(y)是预定函数。
注意，函数g(y)可以与函数f(x)是相同的函数。作为一个示例，姿势参数计算单元22b可以基于假设节锥角θp与y坐标值yf成比例，按照表达式θp=a2·yf/ymax计算节锥角θp。

[0046] 如上所述，姿势参数计算单元22b基于捕获图像I中的面部位置Pf，计算滚转角θr和节锥角θp。这些姿势参数指示操作输入设备1相对于从图像捕获单元12到用户U的方向的倾斜。注意，使用通过将坐标值xf和yf分别除以最大坐标值xmax和ymax获得的值，计算滚转角θr和节锥角θp。在以上的情况下，可以基于通过正规化捕获图像I中的位置坐标获得的值，计算滚转角θr和节锥角θp。在以上，a1和a2可以是相同的值。此外，可以分别按照θr=a1·f(xf)和θp=a2·f(yf)计算滚转角θr和节锥角θp，而不使用xmax和ymax。

[0047] 注意，尽管在以上确定位置坐标的原点与参考面部位置Po重合，但是位置坐标的原点可以不同于参考面部位置Po设置。例如，捕获图像I的四角的任一可以在表达面部位置Pf的坐标值中确定为原点。在该情况下，虽然参考面部位置Po的位置坐标表示为（xo，yo），但是使用（xf-xo）和（yf-yo）代替上述各个表达式中的xf和yf计算滚转角θr和节锥角θp可以提供相对于参考姿势的旋转角。

[0048] 同时，偏航角θy指示以Y轴作为旋转轴，操作输入设备1相对于参考姿势的旋转角。也即是说，偏航角θy指示在垂直于图像捕获方向Dc的平面上操作输入设备1的倾斜。图7A示出已经从参考姿势绕Y轴旋转的操作输入设备1，示出用户U和从操作输入设备1的后表面侧（Y轴负方向侧）观察到的操作输入设备1。图7B示出在图7A所示条件下捕获的捕获图像I。如这些图中所示，当操作输入设备1绕Y轴旋转时，捕获图像I中的面部方向Df在相反方向旋转。因此，姿势参数计算单元22b基于面部方向Df的角度值θf，使用预定函数计算偏航角θy。例如，姿势参数计算单元22b可以按照表达式θy=a3·h(θf)计算偏航角θy，其中a3是预定系数，h(θ)是预定函数。作为一个示例，姿势参数计算单元22b可以基于假设偏航角θy与角度值θf成比例，按照表达式θy=a3·θf计算偏航角θy。

[0049] 注意，在以上描述中，系数a1、a2和a3可以是预先根据应用程序等确定的固定值，或者根据用户U的指定可改变的值。

[0050] 特别地，系数a1和a2可以是基于目标对象的大小（这里用户U的面部的大小）改变的值，该大小在通过图像分析单元22a的图像分析中获得。例如，当用户U面部的实际位置和处于参考姿势的假定位置之间存在细微的差别（也即是说，当用户U的面部位置的中心稍微偏离在图像捕获方向Dc延伸的直线）时，该差别取决于用户U和图像捕获单元12之间的距离而有不同的影响。也即是说，例如，对于用户U和图像捕获单元12之间较短的距离，即使操作输入设备1的倾斜稍微改变也可以导致捕获图像I中面部位置Pf的显著移动。然而，对于用户U和图像捕获单元12之间较长的距离，与用户U和图像捕获单元12之间的距离比较短的情况相比，响应于操作输入设备1的相同量的倾斜，面部位置Pf可以以较小的量移动。这里应当注意，在通过图像分析单元22a的面部位置Pf和面部方向Df的指定中，也指定在捕获图像I中用户U的面部占据的区域的大小，并且可以基于面部区域的大小估计从图像捕获单元12到用户U的距离。因此，当基于面部区域的大小确定系数a1和a2时，姿势参数计算单元22b可以反映操作输入设备1的姿势的变化的滚转角θr和节锥角θp，同时减小由于上述差别导致的影响。具体地，姿势参数计算单元22b可以关于图像分析单元22a指定的较大面部区域，确定用于系数a1和a2的较小值。注意，姿势参数计算单元22b在到用户U的面部的距离的估计值不仅可以使用面部区域的大小，而且可以使用任何其他输入信息，诸如视差信息等。

[0051] 在以上描述中，以用户U改变操作输入设备1的方位而不是相对于用户U操作输入设备1的自身位置（也即是说，图像捕获位置不改变，同时图像捕获单元12的图像捕获方向Dc改变）为前提，计算姿势参数。然而，当用户U也平行于操作输入设备1的位置移动时，在捕获图像I中的面部位置Pf将移动。因此，关于捕获图像I中面部位置Pf的信息的单独使用可能不能在用户U旋转操作输入设备1的情况和用户U平行于操作输入设备1移动的情况之间进行辨别。

[0052] 鉴于以上，姿势确定单元22可以确定目标对象相对于从图像捕获单元12到目标对象（这里用户U的面部）延伸的方向的方位的变化，并且基于在目标对象的方位中确定的变化，确定操作输入设备1的倾斜是否已经改变。具体地，在捕获图像I中包含的用户U的面部的指定中，图像分析单元22a确定用户U的面部的前面指向的方向。通过在面部区域指定特征点（诸如眼睛、鼻子等）的位置，并且比较面部区域中指定的特征点分布（偏离的范围）与参考值，可以进行该确定。

[0053] 图8A示出用户U和从其上方观察到的操作输出设备1，类似于图5A，其中仅操作输入设备1的位置而不是方位已经改变。如图5A和6A所示，当用户U只改变操作输入设备1的方位时，捕获图像I中的面部位置Pf从捕获图像I的中间向外边缘移动。然而，相对于图像捕获单元12的镜头的用户U的面部的自身位置在实际空间中仍然未改变。也即是说，用户U的面部的前面保持指向图像捕获单元12的镜头，并且如图5B和6B所示，在捕获图像I中用户U的面部的前面指向的方向很少改变。然而，当用户U平行于操作输入设备1的位置移动时，如图8A所示，户U的面部的前面指向的方向偏离图像捕获单元12的镜头移动。也即是说，如图8B所示，随着操作输入设备1的移动，户U的面部的前面变得指向捕获图像I的更向外侧。

[0054] 鉴于以上，姿势参数计算单元22b分析捕获图像I中包含的面部图像，以计算用户U的面部的前向方向相对于从用户U到图像捕获单元12的方向的角。具体地，姿势参数计算单元22b可以基于面部区域中面部包含的各部分（例如眼睛、鼻子等）的位置分布、亮度分布、颜色分布、热分布、距离分布等，计算面部的前向方向的角。然后，姿势参数计算单元22b确定操作输入设备1已经以对应于计算的角的量平行移动，并且从面部位置Pf的位置坐标值xf、yf减去归因于平行移动的量用于校正。此后，姿势参数计算单元22b使用校正后的值xf和yf计算滚转角θr和节锥角θp。在该方式下，当捕获图像I中面部位置Pf改变时，可能分离归因于操作输入设备1的平行移动的变化量以及归因于操作输入设备1的倾斜的变化量，并且计算操作输入设备1的倾斜的变化量。注意，姿势参数计算单元22b可以指定面部包含的眼睛、鼻子等而不是整个面部的前向方向的角，并且基于指定的角计算操作输入设备1的平行移动的量。

[0055] 可替代地，位置参数计算单元22b可以基于捕获图像I中包含的背景图像的移动，确定操作输入装置1的平行移动。也即是说，当用户U平行于操作输入设备1移动时，不仅捕获图像I中的用户U的位置而且用户U的整个背景图像将平行地改变。然而，当用户U仅倾斜操作输入设备1时，不导致整个背景的平行移动，而是可能仅使背景图像变形。鉴于以上，可能通过比较捕获图像I中的背景图像与过去的捕获图像I中的背景图像，指定操作输入设备1已经平行移动的量，从而分析背景图像中的变化。使用KLT方法（Kanade-Lucas-Tomasi特征跟踪器）等，可以实现这样的分析。

[0056] 注意，如上所述，姿势确定单元22可以基于面部区域的大小，计算从图像捕获单元12到用户U的面部的距离。使用随时间过去的距离的变化，姿势确定单元22可以检测例如在前后方向摇摆操作输入设备1的用户U的操作。如上所述，姿势确定单元22不仅可以检测绕各自的X、Y和Z轴操作输入设备1的旋转（倾斜的变化），而且可以检测沿各自的X、Y和Z轴操作输入设备1的移动，然后计算每个移动的速度和加速度，并且输出到显示图像更新单元23。

[0057] 显示图像更新单元23基于通过姿势确定单元22的姿势确定的结果，进行更新显示单元11上示出的图像的处理。具体地，显示图像更新单元23使用姿势参数计算单元22b计算的姿势参数的值作为操作输入，更新显示的图像。例如，显示图像更新单元23可以基于根据滚转角θr和节锥角θp的值指定的操作输入设备1的倾斜方向和量，进行移动虚拟3D空间中放置的用户对象、或者虚拟3D空间中定义的视点的位置的处理，然后产生反应该处理的结果的图像，并且在显示单元11上示出。在以上的情况下，操作输入设备1根据用于改变操作输入设备1的姿势的用户U输入的操作，可以执行应用程序，诸如游戏应用程序，并且呈现该结果给用户U。

[0058] 显示图像更新单元23可以与基于姿势参数的值进行的处理的结果一起，在显示单元11上示出在部分区域中图像捕获单元12捕获的捕获图像I本身。可替代地，显示图像更新单元23可以在显示单元11上示出指示通过图像分析单元22a的分析的结果（也就是说，在捕获图像I中指定的用户U的面部位置Pf、面部方向Df等）的图像。在以上的情况下，用户U可以改变操作输入设备1的姿势，同时响应于用于改变操作输入设备1的姿势的用户U输入的操作，检查捕获图像I发生的改变。这便于操作输入。在以上，示出水平相反图像作为捕获图像I能够通过根据操作输入设备1的姿势的变化已经出现的面部位置Pf的变化的用户U，实现简单和直观的识别。

[0059] 尽管以上描述预先确定操作输入设备1的参考姿势，以便参考面部位置Po与捕获图像I的中心重合，但是参考姿势可以在应用程序等的执行开始时确定。例如，用户U以任何期望的姿势握持操作输入设备1的同时，可以根据屏幕上示出的指令操作操作部件13，并且操作输入设备1可以在操作操作部件13时，确定面部位置Pf和面部方向Df作为参考面部位置Po和操控面部方向Do。此后，基于相对于参考面部位置Po的面部位置Pf的变化和相对于参考面部方向Do的面部方向Df的变化，可以确定相对于参考姿势的操作输入设备1的变化。

[0060] 在以上描述的姿势确定中，操作输入设备1的过度倾斜可以可能导致用户U的面部在图像捕获单元12的视角之外，因此，姿势确定单元22可能无法指定在捕获图像I中用户U的面部，由此无法计算姿势参数。在这样的情况下，姿势确定单元22可以假设操作输入设备1保持在紧接失败的用户面部的指定之前，基于捕获图像I确定的姿势。也就是说，姿势确定单元22保持输出最后计算的姿势参数的值到显示图像更新单元23，直到接着在捕获图像I中指定用户U的面部成功。可替代地，当指定用户U的面部失败时，姿势确定单元22可以复位姿势的变化，并且输出与当操作输入设备1的姿势返回到参考姿势时要输出的姿势参数相同的姿势参数。

[0061] 根据依据上述实施例的操作输入设备1，即使当姿势确定传感器（诸如加速度传感器等）不可用时，基于图像捕获单元12捕获的捕获图像I也可以实现姿势确定，类似于使用这样的传感器的情况。

[0062] 注意，本发明的实施例不限于上述实施例。例如，图像捕获单元12不限于CCD相机，并且可以是用于确定光（诸如除了可见光的红外辐射等）的相机、3D相机等。使用这样的相机，操作输入设备1可以获得视差信息、关于捕获图像I中热和距离分布的信息等。

[0063] 在以上描述中，图像分析单元22a在面部识别处理中指定捕获图像I中包含的用户U的面部。然而，面部识别处理不是强制的。例如，图像分析单元22a可以指定个人的轮廓，从而指定捕获图像I中的个人的头部的位置和倾斜。在该情况下，使用肩部线条的方位等可以实现捕获图像I中的头部的倾斜的精确确定。此外，图像分析单元22a可以指定用户U的面部的部分（例如，眼睛、鼻子等）而不是整个面部的位置和方位，并且姿势参数计算单元22b可以基于指定的面部的部分的位置和方位，计算姿势参数的值。

[0064] 此外，图像分析单元22a可以指定个人而不是握持操作输入设备1的用户U。也就是说，如上所述，图像捕获单元12的镜头可以旋转以指向操作输入设备1的后表面侧。在图像捕获单元12的图像捕获方向Dc指向操作输入设备1的后表面侧的情况下，姿势确定单元22可以获得包含个人而不是用户U的捕获图像I，并且基于捕获图像I包含的个人的位置和方位，确定操作输入设备1的姿势。注意，在该情况下，因为相对于操作输入设备1的图像捕获单元12的图像捕获方向Dc与以上已经描述的相反，所以捕获图像I中的面部位置Pf的左右方向的位置和滚转角θr之间的关系与以上已经描述的相反。此外，面部方向Df的旋转方向和偏航角θy之间的关系也相反。因此，当图像捕获单元12的镜头指向后表面侧时，姿势确定单元22在分析图像之前在左右方向反转捕获图像I，从而校正由于相反的图像捕获方向Dc的影响。

[0065] 此外，姿势确定单元22可以指定不同于个人的对象目标，并且基于目标对象的位置和方位确定操作输入设备1的姿势。可替代地，可以基于捕获图像I中指定的特征点的移动和旋转，确定操作输入设备1的姿势的变化。

[0066] 尽管以上描述了姿势确定单元22计算旋转角θr、θp和θy的值，并且输出到显示图像更新单元23作为姿势参数，但是这不是限制的。也就是说，姿势确定单元22可以计算另一姿势参数。具体地，当使用根据该实施例的操作输入设备1代替具有姿势确定传感器（诸如，加速度传感器）的操作输入设备1时，旋转角θr、θp和θy的计算值在输出到显示图像更新单元23之前，可以首先转换为假设为来自加速度传感器的输出值的值。在上述的情况下，在根据应用程序（诸如，游戏应用程序）实现显示图像更新单元23的情况下，用户U可以通过当使用具有姿势确定传感器的操作输入设备时和当使用根据该实施例的操作输入设备1时二者相同的操作，实现相同的处理，而不从传统的处理改变显示图像更新单元23的处理的内容。

[0067] 注意，例如，加速度传感器的输出将取决于引起重力加速度的垂直方向和操作输入设备1的方位之间的关系改变。因此，在效法来自加速度传感器的输出中，使用根据该实施例的操作输入设备1，如果不能指定垂直方向，则不可能完全再现加速度传感器的输出。然而，用于进行使用加速度传感器的输出的处理的某些程序可以使用基于与重力加速度的关系指定的关于操作输入设备1的姿势信息，作为仅关于相对于参考姿势的相对倾斜或关于随时间过去倾斜的变化的信息。根据这样的程序，真正的垂直方向对应于相对于操作输入设备1的哪个方向无关紧要。鉴于以上，在预定方向设置虚拟重力方向之后，姿势确定单元22使用各自旋转角θr、θp和θy的值，计算在该方向引起重力时将引起的相对于各自参考轴的加速度，并且输出计算的加速度值到显示图像更新单元23。在以上的情况下，可能通过与当使用具有加速度传感器的操作输入设备时进行的操作相同的操作，实现更新显示图像的处理，而不改变用于实现显示图像更新单元23的程序的内容。

[0068] 注意，在效法具有这样的姿势确定传感器的操作输入设备中，用户U可以自由地确定相对于哪个方向根据该实施例的操作输入设备1的姿势的变化对应于相对于哪个方向具有姿势确定传感器的操作输入设备的姿势的变化。例如，根据通过用户U的指定，操作输入设备1将与在操作输入设备1上设置为旋转轴的各自X、Y和Z轴形成的旋转角θr、θp和θy的每个，分配到与在具有姿势确定传感器的操作输入设备上设置为旋转轴的X、Y和Z轴的任一形成的旋转角。在上述的情况下，用户U可以以便于通过用户U的操作的方式通过倾斜操作输入设备1来输入操作，而不管操作输入设备1的形状。可替代地，取决于由图像分析单元22a确定的用户U的面部的方位、通过应用程序预先设置的条件等，操作输入设备1可以将旋转角θr、θp和θy分配到与要效法为旋转轴的操作输入设备的任一参考轴形成的旋转角。例如，在期望用户在纵向方位（沿垂直方向延伸的操作输入设备1的经度方向）或者在横向方位（在用户的左右方向延伸的操作输入设备1的经度方向）握持操作输入设备1的情况下，操作输入设备1基于确定的面部的方位或者应用程序的指定，确定用户在纵向方位还是横向方位握持操作输入设备1。然后，基于确定的结果，确定旋转角的分配。在上述的情况下，用户可以在纵向或横向方位握持操作输入设备1的同时，通过倾斜操作输入设备1输入操作，而不用告知操作输入设备1的方位。

[0069] [第二实施例]

[0070] 在以下中，将参考图9描述根据本发明第二实施例的包括信息处理设备31的信息处理系统。在第一实施例中，操作输入设备1本身基于捕获图像I确定其姿势。然而，在第二实施例中，连接到操作输入设备32的另一信息处理设备31确定操作输入设备32的姿势，并且基于姿势确定的结果进行信息处理。

[0071] 注意，操作输入设备32可以是消费游戏设备的控制器，并且用于输入用户U的操作到信息处理设备31。信息处理设备31可以是例如消费游戏设备，并且基于经由操作输入设备32通过用户U输入的操作进行各种处理，以及在显示单元33（诸如，电视接收机等）的屏幕上示出处理的结果。

[0072] 在图9所示示例中，图像捕获单元34提供在操作输入设备32的外表面上。操作输入设备32具有通信单元35，以便图像捕获单元34捕获的捕获图像I经由通信单元35发送到信息处理设备31。信息处理设备31包括控制单元36、存储单元37和通信单元38，并且控制单元36根据存储单元37中存储的程序进行信息处理。通信单元38进行与操作输入设备32的通信单元35的数据通信。

[0073] 同样在该示例中，信息处理设备31的控制单元36可以通过进行与上述操作输入设备1进行的处理相同的处理，确定操作输入设备32的姿势。也就是说，控制单元36经由通信单元35和通信单元38获得图像捕获单元34捕获的捕获图像I，然后基于获得的对捕获图像I的分析结果，确定操作输入设备32的姿势，并且进行基于确定的姿势的处理。