[0001] 本发明涉及对功能的掌握进行辅助的辅助方法以及辅助系统。

[0002] 近年来，车辆设置了各种功能，要求用户掌握这些功能。在专利文献1中公开了如下内容：在智能手机等便携无线电通信终端中将拍摄图像显示于显示器，并且将该拍摄图像内所包含的部件的指引(名称)重叠显示在显示器中；以及，在将重叠显示在显示器中的部件的指引按下的情况下，将该部件的操作手册显示于显示器。

[0003] 现有技术文献

[0004] 专利文献

[0005] 专利文献1：日本特开2014‑215845号公报

[0022] 以下，参照附图对实施方式详细进行说明。注意，以下的实施方式并不对权利要求书中的发明构成限定，而且实施方式中说明的特征的组合对发明来说未必全部都是必须的。也可以将实施方式中说明的多个特征中的两个以上的特征任意组合。另外，对于同一或者同样的结构，标注相同的附图标记，并省略重复的说明。

[0023] ＜第一实施方式＞

[0024] 对本发明的第一实施方式进行说明。图1是表示本实施方式的辅助系统100的构成的框图。本实施方式的辅助系统是用于辅助用户掌握车辆功能的系统，可包含信息终端10、服务器装置20(云)和网络NTW。在此，作为车辆，例如可列举四轮车或跨骑型车辆(二轮车、三轮车)等，在本实施方式中，作为车辆，例示四轮车来进行说明。另外，作为信息终端10，例如使用智能手机或平板终端等，在本实施方式中，对使用平板终端作为信息终端10的例子进行说明。智能手机以及平板终端是具有通话功能以外的各种功能的便携终端，显示器的尺寸相互不同。一般来说，平板终端与智能手机相比显示器尺寸更大。

[0025] 首先，对信息终端10的构成进行说明。信息终端10例如可包含处理部11、存储部12、相机13、显示器14、位置检测传感器15、姿态检测传感器16和通信部17。信息终端10的各部分经由系统总线18相互以能够通信的方式连接。

[0026] 处理部11包含以CPU为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储部12，存储有处理器所执行的程序以及处理器在处理中使用的数据等，处理部11能够将存储于存储部12的程序读出到存储器等存储设备中执行。在本实施方式的情况下，在存储部12，存储有用于辅助用户掌握车辆功能的应用程序(辅助程序)，处理部11将存储于存储部12的该辅助程序读出到存储器等存储设备中执行。

[0027] 相机13具有透镜和拍摄元件，对被拍摄物进行拍摄而获取拍摄图像。相机13例如可设于与设置显示器14的外表面为相反一侧的外表面。另外，显示器14通过显示图像来向用户报告信息。在本实施方式的情况下，显示器14能够实时地显示由相机13获取到的拍摄图像。在此，本实施方式的显示器14例如包含触摸面板式LCD(Liquid Crystal Display)等，除了显示图像的功能以外，还具有从用户接受信息输入的功能。然而，并不局限于此，也可以使显示器14仅具有显示图像的功能，并与该显示器14独立地设置输入部(例如键盘、鼠标等)。

[0028] 位置检测传感器15检测信息终端10的位置以及方位。作为位置检测传感器15，例如能够使用接收来自GPS卫星的信号来获取当前时刻的信息终端10的位置信息的GPS传感器、基于地磁等检测信息终端10的相机13所朝向的方位的方位传感器等。在本实施方式中，在记载为“信息终端10的位置”的情况下，除了信息终端10的位置以外，还包含信息终端10的方位。另外，姿态检测传感器16检测信息终端10的姿态。作为姿态检测传感器16，例如能够使用加速度传感器、陀螺仪传感器等。

[0029] 通信部17经由网络NTW与服务器装置20以能够通信的方式连接。具体地说，通信部17具有作为经由网络NTW从服务器装置20接收信息的接收部的功能以及作为经由网络NTW向服务器装置20发送信息的发送部的功能。在本实施方式的情况下，通信部17将表示由用户在显示器14上进行了操作的功能部件的种类及其操作方式的信息(操作信息)向服务器装置20发送。另外，通信部17可从服务器装置20接收表示实际操作车辆的功能部件时的该车辆的动作状态的增强现实(AR：Augmented Reality)图像的数据。

[0030] 另外，作为处理部11的具体构成，例如可设置第一获取部11a、第二获取部11b、确定部11c、检测部11d和显示控制部11e。第一获取部11a获取利用相机13得到的拍摄图像的数据。第二获取部11b经由通信部17从服务器装置20获取增强现实图像的数据。确定部11c例如通过进行模式匹配方法等图像处理来解析拍摄图像，确定显示器14中显示的拍摄图像内所包含的车辆的功能部件。检测部11d检测要掌握与由确定部11c确定的功能部件有关的功能的用户意思。在本实施方式的情况下，作为用户意思，检测部11d检测用户在显示器14上对由确定部11c确定的功能部件进行了操作这一情况，但例如也可以是对用户的声音、视线等进行检测的方式，还可以是对设于信息终端10的按钮的操作进行检测的方式。另外，确定部11d将表示被检测出操作(掌握功能的用户意思)的功能部件的种类和该功能部件的操作方式的信息经由通信部17向服务器装置20发送。显示控制部11e将由第一获取部11a获取到的拍摄图像显示于显示器14。另外，在利用第二获取部11b获取了增强现实图像的数据的情况下，显示控制部11e基于由位置检测传感器15以及姿态检测传感器16分别检测出的信息终端10的位置以及姿态，使该增强现实图像重叠(叠合)于拍摄图像地显示于显示器14。

[0031] 接下来，对服务器装置20的构成进行说明。服务器装置20可包含处理部21、存储部22和通信部23。处理部21包含以CPU为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储部22，存储有处理器所执行的程序或处理器在处理中使用的数据等，处理部21能够将存储于存储部22的程序读出到存储器等存储设备中执行。另外，通信部23经由网络NTW与信息终端10以能够通信的方式连接。具体地说，通信部23具有作为经由网络NTW从信息终端10接收信息的接收部的功能以及作为经由网络NTW向信息终端10发送信息的发送部的功能。

[0032] 在本实施方式的情况下，在存储部22，针对设于车辆的多个种类的功能部件，分别存储有表示车辆的功能部件被实际操作时的车辆的动作状态(功能)的增强现实图像的数据。处理部21经由通信部23从信息终端10接收表示由信息终端10的处理部11(检测部11d)检测出的功能部件的种类和该功能部件的操作方式的信息，并基于接收到的该信息将与该功能部件对应地存储于存储部22的增强现实图像的数据经由通信部23向信息终端10发送。

[0033] [辅助系统的处理序列]

[0034] 接下来，对辅助系统100的处理序列进行说明。图2是表示在信息终端10与服务器装置20之间进行的处理的序列图。

[0035] 若在信息终端10中开始执行辅助程序，则信息终端10开始利用相机13进行拍摄(步骤101)，并将利用相机13得到的拍摄图像实时地显示于显示器14(步骤102)。另外，信息终端10开始位置检测传感器15对信息终端10的位置的检测和姿态检测传感器16对信息终端10的姿态的检测(步骤103)。然后，信息终端10对利用相机13得到的拍摄图像进行解析，确定显示器14中显示的拍摄图像内所包含的车辆的功能部件(步骤104)。信息终端10若检测出用户在显示器14上对所确定的功能部件进行了操作这一情况(步骤105)，则将表示被进行了操作的功能部件和其操作方式的操作信息向服务器装置20发送(步骤106)。

[0036] 在服务器装置20的存储部22，针对设于车辆的多个功能部件，分别存储有表示实际操作功能部件时的车辆的动作状态的增强现实图像(例如动画)的数据。从信息终端10接收到操作信息的服务器装置20从存储于存储部22的多个增强现实图像中选择与操作信息(功能部件、操作方式)对应的增强现实图像的数据(步骤107)，并将所选择的增强现实图像的数据向信息终端10发送(步骤108)。信息终端10将从服务器装置20接收到的增强现实图像重叠于利用相机13得到的拍摄图像地显示于显示器14(步骤109)。此时，信息终端10基于由位置检测传感器15检测的信息终端10的位置和由姿态检测传感器16检测的信息终端10的姿态对相机13的拍摄图像与增强现实图像进行对位，以使增强现实图像与信息终端10的动作一致地移动。

[0037] [信息终端中的处理]

[0038] 接下来，对在执行辅助程序时由信息终端10进行的处理进行说明。图3是表示由信息终端10的处理部11进行的处理的流程图。

[0039] 在车辆中，设有在驾驶时使用的功能、用于提高车内的舒适性的功能、用于提高安全性的功能等各种功能，用于发挥这些功能的功能部件可设于车辆(车内)。作为在驾驶时使用的功能，例如可列举方向指示器(方向指示灯)、雨刮器、手刹、变速器等。另外，作为用于提高舒适性的功能，例如可列举空调、座椅加热器、音响等。另外，作为用于提高安全性的功能，可列举具有车距控制的巡航控制(以下为ACC：Adoptive Cruise Control)、车道保持辅助系统(以下为LKAS：Lane Keeping Assistant System)等。本实施方式的辅助系统100可构成为用于进行辅助而让用户掌握如上所述的车辆的各种功能，以下对辅助掌握ACC、LKAS等安全性功能的例子进行说明。在此，假设用于发挥ACC以及LKAS的功能的功能部件(开关)被设于方向盘。

[0040] 在S11中，处理部11(第一获取部11a)使相机13开始拍摄，并且从相机13获取拍摄图像。在S12中，处理部11(显示控制部11e)将从相机13获取到的拍摄图像依次显示于显示器14。例如，图4示出了用户利用信息终端10的相机13对车内的方向盘2进行拍摄的样子。在该情况下，在信息终端10中，利用相机13得到的方向盘2的拍摄图像被依次显示于显示器14。注意，图4示出了乘车的用户所能看见的车内环境，除了方向盘2以外，还图示了前挡风玻璃1、前柱3、仪表板4以及仪表盘5。

[0041] 在S13中，处理部11(确定部11c)对显示器14中显示的拍摄图像内所包含的车辆的功能部件进行确定。例如，处理部11首先通过进行公知的图像处理来识别拍摄图像内所包含的部件。在信息终端10的存储部12，针对设于车辆的多个功能部件分别存储有特征信息，处理部11调查(判断)是否有与识别出的部件的特征之间的一致度高(即一致度超过规定值)的功能部件。由此，处理部11能够确定拍摄图像内所包含的功能部件。

[0042] 在S14中，处理部11判断是否已经在显示于显示器14的拍摄图像内确定了功能部件。在已经在拍摄图像内确定了功能部件的情况下进入S15，在尚未确定功能部件的情况下返回S12。

[0043] 在S15中，处理部11将表示在S13中确定的功能部件的名称的增强现实图像重叠于利用相机13得到的拍摄图像地显示于显示器14。此时，处理部11基于由位置检测传感器15以及姿态检测传感器16检测出的信息终端10的位置姿态的信息，将表示该功能部件的名称的增强现实图像以与该功能部件在显示于显示器14的拍摄图像中的位置匹配的方式显示于显示器14。例如，图5示出了将方向盘2的拍摄图像显示于信息终端10的显示器14的例子。在图5所示的例子中，在方向盘2的拍摄图像内，确定了ACC开关2a、LKAS开关2b、取消开关2c以及车距的设定开关2d，表示它们的名称的增强现实图像31～34被重叠于方向盘的拍摄图像地显示在显示器14中。

[0044] 在本实施方式的情况下，表示设于车辆的多个功能部件各自的名称的增强现实图像被存储于存储部12，但并不限于此，也可以存储于服务器装置20的存储部22。该情况下，处理部11可将在S12中确定的功能部件的识别信息经由通信部17向服务器装置20发送，并经由通信部17从服务器装置20接收表示该功能部件的名称的增强现实图像的数据。

[0045] 在S16中，处理部11判断用户是否已经在显示器14上对在S13中确定的功能部件进行了操作。在此，在本实施方式的情况下，由于正在使用触摸面板式的显示器14，因此处理部11判断用户的手指等是否已经在显示器上对功能部件进行了操作。然而，并不限于此，例如，在使用非触摸面板式的显示器的情况下，也可以判断是否已经经由鼠标等输入部在显示器上对功能部件进行了操作。在用户已经在显示器14上对功能部件进行了操作的情况下进入S17，在未在显示器14上对功能部件进行操作的情况下返回S12。

[0046] 在S17中，处理部11将表示已由用户在显示器14上操作的功能部件的种类及其操作方式的信息(操作信息)经由通信部17向服务器装置20发送。在S18中，处理部11(第二获取部11b)从存储于服务器装置20的存储部22的多个增强现实图像中，经由通信部17从服务器装置20接收与操作信息对应的增强现实图像。

[0047] 在此，为了说明车辆功能，在S18中获取的增强现实图像是表示实际操作功能部件时的车辆的动作状态的增强现实图像(例如动画)，例如可包含实际操作功能部件的情况下的车辆状态的变化以及车辆周边环境的变化中的至少一方。所谓增强现实图像所包含的“车辆状态”，例如是虚拟地表示在实际操作功能部件的情况下由车辆进行的动作、功能的状态，也可包含使通过实际操作功能部件而出现的非可视信息可视化的状态。作为非可视信息，例如可列举在操作ACC开关2a的情况下从车辆出射的毫米波雷达、激光雷达等的电波。另外，所谓增强现实图像所包含的“车辆周边环境”，例如是虚拟地表示在实际操作功能部件的情况下在车辆周围发生变化的道路、车道线、前方车辆等的状态。

[0048] 在S19中，处理部11(显示控制部11e)将在S18中获取到的增强现实图像重叠于利用相机13得到的拍摄图像地显示于显示器14。此时，处理部11基于由位置检测传感器15以及姿态检测传感器16检测出的信息终端10的位置姿态的信息对相机13的拍摄图像与在S18中得到的增强现实图像进行对位，以使增强现实图像与信息终端10的动作一致地移动。

[0049] 图6示出了在S18中获取到的增强现实图像被显示于信息终端10的显示器14，用户正在利用该信息终端10掌握车辆功能的样子。具体地说，用户利用信息终端10的相机13隔着前挡风玻璃1对车外进行拍摄，在信息终端10的显示器14中，与相机13的拍摄图像重叠地显示当在显示器14上对功能部件进行了操作时获取到的增强现实图像。

[0050] 例如，图7示出了将在显示器14上对ACC开关2a进行了操作时在S18中得到的增强现实图像重叠于相机13的拍摄图像地显示于信息终端10的显示器14的例子。在图7所示的例子中，道路41、车道线42以及前方车辆43在显示器14中被显示为增强现实图像。并且，向前方车辆43照射使ACC发挥功能时从车辆的前部射出的电波44(例如毫米波雷达)的样子、以及对ACC的功能的说明45在显示器14中被显示为增强现实图像。此外，显示器14中显示的仪表板4是由相机13拍摄的拍摄图像。这样的增强现实图像例如是动画，且这样的增强现实图像可以以增强现实图像的外观根据信息终端10的位置、方向以及姿态而改变的方式显示于显示器14。另外，当在显示器14上对车距的设定开关2d进行了操作的情况下，可根据通过该操作而设定的车距来变更与在显示器14中显示为增强现实图像的前方车辆43之间的距离。

[0051] 另外，图8示出了将在显示器14上对LKAS开关2b进行了操作时在S18中得到的增强现实图像重叠于相机13的拍摄图像地显示于信息终端10的显示器14的例子。在图8所示的例子中，道路51、车道线52在显示器14中被显示为增强现实图像。并且，使LKAS发挥功能时进行的动作，具体来说为表示车辆超出了车道线52的符号53及说明54、旨在在该情况下对方向盘2的操作进行辅助的符号55及说明56，在显示器14中被显示为增强现实图像。注意，显示器14中显示的仪表板4是由相机13拍摄的拍摄图像。这样的增强现实图像与图7所示的例子相同，例如是动画，且可以以增强现实图像的外观根据信息终端10的位置、方向以及姿态而改变的方式显示于显示器14。

[0052] 这样，在本实施方式的辅助系统100中，在用户在显示器14上对显示器14中显示的拍摄图像内所包含的功能部件进行了操作的情况下，将表示实际操作该功能部件时的车辆的动作状态的增强现实图像重叠于拍摄图像地显示于显示器14。由此，用户能够从视觉上掌握在对车辆的功能部件进行操作时车辆如何发挥功能。即，通过本实施方式的辅助系统100，能够让用户容易地掌握车辆功能。

[0053] ＜其它实施方式＞

[0054] 在上述实施方式中，对增强现实图像的数据被存储于服务器装置20的存储部22的例子进行了说明，但并不限于此，增强现实图像的数据也可以被存储于信息终端10的存储部22。该情况下，由于不需要在信息终端10与服务器装置20之间进行数据的收发，因此即使在离线的信息终端10中也能执行上述辅助程序。

[0055] 另外，在上述实施方式中，对用于辅助用户掌握车辆功能的辅助系统100进行了说明，但该辅助系统100可以用于辅助掌握其它物体的功能，而不限于车辆的功能。作为该物体，只要是状态根据功能部件的操作而变化的物体即可，状态的变化既可以是电气变化，也可以是机械变化。

[0056] ＜实施方式的概括＞

[0057] 1.上述实施方式的辅助方法是使用具有相机(例如13)以及显示器(例如14)的信息终端(例如10)对功能的掌握进行辅助的辅助方法，其中，

[0058] 所述辅助方法包含：

[0059] 第一显示步骤，在该第一显示步骤中，将利用所述相机得到的拍摄图像显示于所述显示器；

[0060] 确定步骤，在该确定步骤中，确定通过所述第一显示步骤显示于所述显示器的拍摄图像内所包含的功能部件(例如2a～2d)；以及

[0061] 第二显示步骤，在该第二显示步骤中，在检测出要掌握与通过所述确定步骤确定的所述功能部件有关的功能的用户意思的情况下，将表示实际操作该功能部件时的动作状态的增强现实图像重叠于利用所述相机得到的所述拍摄图像地显示于所述显示器。

[0062] 根据该构成，即使不确认与功能以及功能部件的操作有关的手册，也能视觉地且直观地掌握在对功能部件进行操作时如何发挥功能。即，用户能够虚拟体验该功能，因此能够容易地掌握该功能。

[0063] 2.在上述实施方式的辅助方法中，

[0064] 在所述第二显示步骤中，将实际操作所述功能部件时发挥功能的物体的状态、以及实际操作所述功能部件时的所述物体的周边环境中的至少一方在所述显示器中显示为所述增强现实图像。

[0065] 根据该构成，更能从视觉上掌握物体的功能，因此对于用户而言，能够更加容易地掌握物体的功能。

[0066] 3.在上述实施方式的辅助方法中，

[0067] 在所述第二显示步骤中，将通过实际操作所述功能部件而出现的非可视信息可视化而作为所述增强现实图像显示于所述显示器。

[0068] 根据该构成，能够从视觉上掌握是通过何种方法发挥功能，因此对于用户而言，能够更加容易地掌握功能。

[0069] 4.在上述实施方式的辅助方法中，

[0070] 所述非可视信息包含通过实际操作所述功能部件而射出的电波。

[0071] 根据该构成，通过视觉地表示为了发挥功能而射出的电波，对于用户而言，能够更加容易地掌握功能。

[0072] 5.在上述实施方式的辅助方法中，

[0073] 在所述第二显示步骤中，作为要掌握与所述功能部件有关的功能的用户意思，检测用户在所述显示器上对所述功能部件的操作。

[0074] 根据该构成，能够可靠地检测出用户想要掌握功能这一意思。

[0075] 6.在上述实施方式的辅助方法中，

[0076] 所述功能部件是设于车辆的部件，

[0077] 在所述第二显示步骤中，将表示实际操作所述功能部件时的所述车辆的动作状态的所述增强现实图像显示于所述显示器。

[0078] 根据该构成，即使不确认与车辆的功能以及功能部件的操作有关的手册，也能视觉地且直观地掌握在对功能部件进行操作时如何发挥车辆功能。

[0079] 本发明不受上述实施方式限制，不脱离本发明的精神以及范围就能进行各种变更以及变形。因此，为了公开本发明的范围，附上以下的权利要求。

[0080] 附图标记说明

[0081] 10、信息终端；11、处理部；12、存储部；13、相机；14、显示器；15、位置检测传感器；16、姿态检测传感器；17、通信部；20、服务器装置；21、处理部；22、存储部；23、通信部。