交互式化身培训系统 [0001] 相关申请的交叉引用 [0002] 本申请是于2021年2月24日提交的美国专利申请第17/183,797号的延续,其公开内容通过引用合并于本文。 背景技术 [0003] 许多公司为它们的员工提供专业培训计划。例如,提供培训计划以保持和提高专业能力,促进职业发展,改善整体工作环境,并遵守专业规章制度和合规性。这样的培训计划通常为员工提供大量信息,如各种政策、规则或程序,以便员工能够学习并且按照雇主的标准和期望胜任地执行任务。 [0004] 按照惯例,培训计划现场进行,或者通过培训者和员工之间的电话会议进行。然而,由于其交付和内容不一致,这样的传统计划在有效性方面遇到了问题。除了这些问题之外,传统培训计划通常是劳动密集型的,因此成本高昂。 发明内容 [0005] 本公开提供一种交互式化身培训系统。交互式化身培训系统提供交互式虚拟平台,该交互式虚拟平台使至少两个用户(例如培训者和受训者)能够在培训计划中进行交互式交流,以提高培训期间的培训效率和准确性。在一个示例中,交互式化身培训系统包括服务器计算设备。服务器计算设备包括一个或更多个存储器。一个或更多个存储器可以包括数据库,该数据库可以存储可以促进交互式化身培训系统的操作的关键词和/或问题。一个或更多个处理器与一个或更多个存储器通信。一个或更多个处理器被配置为接收第一输入以创建与第一计算设备的第一用户相关联的第一化身,接收第二输入以创建与第二计算设备的第二用户相关联的第二化身,在虚拟员工培训环境中呈现第一化身和第二化身,在虚拟员工培训环境中从第一计算设备接收问题,以及在虚拟员工培训环境中响应于该问题来输出答案。 [0006] 在一个示例中,在输出答案之前,一个或更多个处理器还被配置为从第二计算设备接收答案。一个或更多个处理器还被配置为处理所接收的答案,以生成处理后的答案,其中,处理后的答案是所输出的答案。在一个示例中,一个或更多个处理器还被配置为从来自第二计算设备的答案识别关键词,并且基于所识别的关键词生成处理后的答案。 [0007] 在一个示例中,在输出答案之前,一个或更多个处理器还被配置为访问来自一个或更多个存储器的预先存储的答案数据库,并且从预先存储的数据库中选择答案,其中,所选择的答案是所输出的答案。一个或更多个处理器还被配置为从问题中识别关键词。答案由机器学习算法生成。 [0008] 在一个示例中,一个或更多个处理器还被配置为利用答案生成推荐分数。一个或更多个处理器还被配置为在虚拟员工培训环境中输出一个或更多个答案,并且生成对答案中的每个答案的推荐分数。一个或更多个处理器还被配置为记录在虚拟员工培训环境中生成的问题和答案。一个或更多个处理器还被配置为在虚拟员工培训环境中回放问题和答案。第一和第二计算设备经由网络与服务器计算设备通信。答案实时生成,或者从虚拟员工培训环境中的预设答案中选择。 [0009] 在一个示例中,第一化身表示受训者,第二化身表示培训者。一个或更多个处理器还被配置为在虚拟员工培训环境中向第一化身显示培训内容。一个或更多个处理器还被配置为在虚拟员工培训环境中生成第一化身的多个测试。 [0010] 本公开还提供一种交互式化身培训系统,该交互式化身培训系统包括服务器计算设备、与服务器计算设备通信的第一计算设备、与服务器计算设备通信的第二计算设备,其中,服务器计算设备被配置为从第一计算设备接收用于创建第一化身的第一简档输入,从第二计算设备接收用于创建第二化身的第二简档输入,生成包括第一化身和第二化身的模拟学习环境,该模拟学习环境允许第一化身和第二化身之间的交互,在交互期间从第一化身接收问题,使用机器学习算法响应于问题来生成答案,以及在模拟学习环境中输出答案。 [0011] 在一个示例中,一个或更多个处理器被配置为从问题中识别关键词,以细化答案的范围。一个或更多个处理器被配置为利用答案生成推荐分数。 [0012] 本公开还提供一种交互式化身培训系统,交互式化身培训系统包括服务器计算设备,该服务器计算设备包括一个或更多个存储器、与一个或更多个存储器通信的一个或更多个处理器,该一个或更多个处理器被配置为接收用于创建第一化身的第一简档输入,在模拟环境中呈现第一化身的第一图像,接收用于创建第二化身的第二简档输入,在模拟环境中呈现第二化身的第二图像,从第一化身接收查询输入,将查询输入发送到模拟环境中的第二化身,从第二化身生成初始响应输入,在模拟环境中处理初始响应输入,基于初始响应输入生成处理后的响应,以及将处理后的响应输出到模拟环境中的第一化身。 附图说明 [0013] 图1是根据本公开各方面的交互式化身培训系统的功能图。 [0014] 图2是根据本公开各方面的交互式化身培训系统的另一个功能图。 [0015] 图3是根据本公开各方面的联网的交互式化身培训系统的直观图。 [0016] 图4描绘根据本公开各方面的联网的交互式化身培训系统的另一直观图。 [0017] 图5描绘根据本公开各方面的联网的交互式化身培训系统的另一框图。 [0018] 图6描绘根据本公开各方面的具有多个用户的交互式化身培训系统的操作的流程图。 [0019] 图7描绘根据本公开各方面的对交互式化身培训系统进行操作的方法的流程图。 具体实施方式 [0020] 该技术通常涉及交互式化身培训系统。交互式化身培训系统利用交互式虚拟平台,该交互式虚拟平台允许至少两个用户(例如培训者和受训者)在培训计划中进行交互式通信。在一个示例中,第一用户(例如培训者)可以创建第一化身,以在用于培训计划的交互式化身培训系统中限定的虚拟环境中表示他/她自己。第二用户(例如受训者)可以创建第二化身以在交互式化身培训系统中的虚拟环境中表示他/她自己。第一用户和第二用户可以在虚拟环境中的环境模拟中通过他们各自的化身进行通信。在这方面,第一用户和第二用户可以位于彼此远离的位置,但是可以利用虚拟环境来实时地彼此通信。 [0021] 关键术语识别引擎用于分析来自第一用户和第二用户的查询和/或响应。例如,可以分析来自用户的输入和/或查询以识别参数、标识符或关键术语,使得可以基于从输入和/或查询识别的标识符来生成适当的反馈、答案或响应。在一些示例中,基于从查询中识别到的参数、标识符或关键术语,在交互式化身培训系统中实现的答案引擎可以帮助提供响应于查询的更新的、修改的、处理后的和/或完善的答案。由培训者提供给受训者的答案可以实时创建,或者从预先记录的存储在交互式化身培训系统中的答案中检索。 [0022] 图1‑图5示出示例交互式化身培训系统。如图1中所示,交互式化身培训系统100可以包括服务器计算机160和计算设备200a、200b(在本文中统称为计算设备200)以及存储设备180。计算设备200和服务器计算机160经由网络190通信耦接,使得计算设备200可以通过网络190与服务器计算机160和/或其他计算设备通信。类似地,服务器计算机160可以经由网络190与计算设备200、其他计算设备或其他服务器计算机160通信。 [0023] 服务器计算机160可以包含一个或更多个处理器112、存储器114以及通常存在于通用计算机中的其他部件。存储器114可以存储处理器112可访问的信息,包括可以由处理器112执行的指令116。存储器114还可以包括可以由处理器112检索、操作或存储的数据 118。在一个示例中,存储器114中的数据118可以包括在对交互式化身培训系统进行操作时可以使用的关键词和/或问题。存储器114可以是能够存储处理器112可访问的信息的非暂时性计算机可读介质的类型,例如硬盘驱动器、固态驱动器、磁带驱动器、光储存器、存储器卡、只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、数字化视频光盘(Digital Video Disc,DVD)、光盘只读存储器(Compact Disc Read‑Only Memory,CD‑ROM)、可写存储器和只读存储器。处理器112可以是任何常规的和/或市售的处理器。替代地或附加地,处理器112可以是被配置为执行特定功能的专用控制器,例如图形处理单元(graphic processing unit,GPU)或专用集成电路(Application Specific Integrated Circuit,ASIC)。 [0024] 指令116可以是由处理器112执行的一组指令。指令116可以以任何格式存储以供处理器112处理,例如目标代码或者以任何计算机语言的其他计算机代码,例如Java、Python、Ruby等。在前面的示例和下面的示例方法中更详细地解释了指令。指令116可以包括本文所描述的任何示例特征。 [0025] 可以通过处理器112根据指令116创建、检索、存储或以其他方式修改数据118。例如,尽管本文描述的主题不限于使用特定的数据结构,但是数据118可以存储在计算机寄存器中、关系数据库或非关系数据库中,作为具有多个不同字段和记录的表,或者作为JSON、YAML、proto或XML文档。数据118也可以以计算机可读格式被格式化,例如但不限于二进制值、ASCII或Unicode。此外,数据118可以包括足以识别相关信息的信息,例如数字、描述性文本、专有代码、指针、对存储在其他存储器中的数据的引用,引用包括其他网络位置或者函数使用的用于计算相关数据的信息。下面将更详细地描述关于服务器计算机110中的指令116、数据118和其他应用的细节。 [0026] 尽管图1将处理器112和存储器114示出为位于服务器计算机110内,但处理器112和存储器114可以包括多个处理器和存储器,多个处理器和存储器可以存储在同一物理设备内,也可以不存储在同一物理设备内。 [0027] 类似于服务器计算机110可以配置计算设备200中的每一个,具有一个或更多个处理器、存储器和指令。计算设备200可以包含如关于服务器计算机160所描述的处理器216、存储器214、指令230和数据228。计算设备200可以具有通常与个人计算设备结合使用的所有部件,例如中央处理单元(central processing unit,CPU)、存储器(例如,RAM和内部硬盘驱动器)输入和/或输出设备、传感器、时钟、网络接口控制器等。 [0028] 如图1中进一步所示,计算设备200可以包括用户接口设备232,例如输入部件和输出部件。例如,用户接口设备232可以包括一个或更多个键盘、鼠标、机械致动器、软致动器、触摸屏、麦克风、传感器、用户显示器、触摸屏,一个或更多个扬声器、换能器或其他音频输出、向用户提供非视觉和非听觉信息的触觉接口或其他触觉反馈,和/或其他部件,这将在本文中进一步描述。 [0029] 服务器计算机160和计算设备200能够进行直接和间接通信,例如通过网络190。在这方面,网络190提供计算设备200之间和/或服务器计算机160与计算设备200之间的连接。 网络190可以利用通信协议和系统,例如互联网、以太网、WiFi、卫星通信、HTTP和/或一个或更多个公司专有的协议以及前述各种组合。例如,网络190可以是有线或无线局域网(local area network,LAN)、广域网(WAN)、内联网、蜂窝通信网络、互联网和/或协议和系统的任何组合。可以由能够向其他计算机发送数据和从其他计算机发送数据的设备来促进网络190上的通信,例如通过连接或以其他方式集成到计算设备200和网络190中的网络接口控制器。 [0030] 图2描绘示例计算设备200a的详细框图。计算设备200a可以是能够执行计算操作或计算分析的任何设备。 [0031] 计算设备200a具有嵌入其中的多个部件。每个部件可以彼此直接或间接通信。在图2中所示的示例中,计算设备200a包括一个或更多个处理器216,一个或更多个处理器216被配置为与用户接口设备232、存储器214、发射器电路206和接收器电路208电通信。如图2中进一步所示,存储器214中还可以存储软件应用227,例如,可以用于执行本文所述的虚拟培训环境的虚拟模拟应用。 [0032] 天线202可以设置在计算设备200a中,或者以其他方式连接到计算设备200a。天线可以被配置为接收和发送射频(Radio Frequency,RF)信号、WiFi信号、蓝牙信号或任何合适的电信号。接收/发射(receive/transmit,Rx/Tx)开关204可以选择性地将天线202耦接至发射器电路206和接收器电路208。接收器电路208对从网络190接收到的电信号进行解调和解码,以供处理器216处理。 [0033] 用户接口设备232包括输入设备234、输出设备236或其他用户接口部件(图2中未示出),这些部件被配置为允许用户与安装在计算设备200a上的软件应用227和指令230进行交互并且控制软件应用227和指令230。输入设备234可以包括用户可以通过其向计算设备200a提供数据的设备,例如通过非限制性示例的小键盘、键盘、鼠标、控制器、麦克风、相机、触摸屏等。输出设备236可以包括从计算设备200a通过其向用户提供数据的设备,例如通过非限制性示例的显示屏、扬声器、触摸屏、触觉输出、虚拟现实耳机等。某些设备,如触摸屏,可以同时用作输入设备和输出设备。例如,触摸屏不仅可以显示内容,还可以提供允许用户输入命令并与其积极交互的触摸激活界面。输入设备234和输出设备236的附加示例可以包括方向板、方向旋钮、加速器、按键通话(“Push‑To‑Talk,PTT”)按钮、传感器、相机、射频识别(“Radio Frequency Identification,RFID”)/近场通信(“Near Field Communication,NFC”)读取器、声音/音频识别设备、运动探测器、加速度计、活动监视器等。 如本文中进一步描述的,用户可以通过对计算设备200a上的用户接口设备232的直接输入来直接提供信息、输入或查询。类似地,可以采用建立计算设备200a的操作或配置的其他方法。 [0034] 存储在存储器214中的应用227可以包括但不限于可操作以执行本文所述的各种方法、特征和功能的软件应用。此外,指令230可以包括可以被配置或存储在存储器214中的应用和其他软件程序,该应用和其他软件程序允许用户在与被配置为执行交互式化身培训系统的虚拟模拟应用交互时,为用户定制的偏好而重复使用这些指令230。 [0035] 注意,用于在交互式化身培训系统的虚拟环境中建立化身的模块、引擎、元件等可以被配置在服务器计算机160中。在一些情况下,模块、引擎或元件等可以被本地配置在计算设备200a中。 [0036] 在一个示例中,虚拟模拟应用可以利用保存在存储器214中并可由处理器216执行的模拟(simulation,SIM)引擎224。例如,用户可以设置他/她的简档并将输入的简档信息保存在存储器214中,以定制模拟(SIM)引擎224中的设置。因此,当需要时,可以保存这样的信息以供重复使用。注意,当由处理器216执行时,存储器214中的指令230可以与模拟(SIM)引擎224通信,以使得能够通过处理器216在模拟(SIM)引擎224或其他相关联的引擎中执行对指令230的操作。例如,可以在处理器216中加载并执行模拟(SIM)引擎224、答案引擎226和关键术语识别引擎223,这些引擎可以包括一个或更多个对应的关键词。注意,其他引擎或模块也可以由处理器216加载和执行。 [0037] 模拟(SIM)引擎224既可以通过来自计算设备200a的处理器216执行,也可以通过来自服务器计算机160的处理器267执行。注意,模拟(SIM)引擎224可以被配置在来自计算设备200a的存储器214中,也可以被配置在服务器计算机160中的存储器265和/或应用模块 270中,或者可以在与计算设备200a或服务器计算机160进行通信的其他合适的存储器设备中,这些合适的存储器设备可以使得能够执行模拟(SIM)引擎224。在这方面,用户可以经由网络190访问服务器计算机160中的SIM引擎。模拟(SIM)引擎224可以为用户生成化身。在一个示例中,创建的每个化身可以是操作诸如计算设备200a之类的计算设备的用户的表征。 化身的外观可以是基于由诸如相机之类的输入设备234捕获的用户的图像和/或视频馈送而构建的3D模型。例如,响应于用户输入,模拟(SIM)引擎224可以启动计算设备200a中的相机,来捕获包含用户的面部和/或身体/衣服的视频或图像。模拟(SIM)引擎224处理用户的图像/视频。然后映射图像/视频以捕获用户的面部和/或身体/衣服,以创建相应的化身,使得用户的面部表情和/或身体表情可以在虚拟空间中实时显示为化身的面部表情和/或身体表情。 [0038] 模拟(SIM)引擎224可以接收输入命令,以建立用于在计算设备200a或其他远程设备或在虚拟空间等中显示和呈现的化身。来自用户的输入命令可以由计算设备200a的用户接口设备232捕获和检测,并且由模拟(SIM)引擎224处理。来自用户的输入命令可以包括从输入设备234通过触摸屏捕获的触摸事件。手势、语音或其他生物特征可以通过相机捕获,以创建与用户的外观和个人举止高度相似的化身。例如,可以执行面部检测、头部移动检测、面部/身体表情检测或其他检测或捕获,以指定化身在虚拟空间中的样子和感觉。此外,用户还可以输入动画命令,例如改变服装的颜色或风格,用于基于用户的偏好来建立化身。 可以通过点击、捏、拖动或其他命令来执行动画命令。 [0039] 此外,还可以捕获音频通信。模拟(SIM)引擎224可以从输入设备234启动麦克风,以捕获来自用户的音频输入(声音、语音),例如,用户语音,并将捕获的声音转换为相应的音频信号。在一个示例中,音频信号可以被转换为化身语音信号,化身语音信号然后可以被发送和输出以用于呈现。接收到的化身语音信号然后可以由诸如扬声器之类的输出设备 236转换回声音。接收到的化身语音信号可以由答案引擎226进一步处理或分析,这将在下面详细描述。化身语音可以基于用户语音。例如,变换包括但不限于音高偏移、拉伸和/或改变播放速率。 [0040] 因此,计算设备200a中的模拟(SIM)引擎224可以基于用户的输入或用户接口设备 232捕获的信号信息来创建化身。音频可以被转换,视频可以基于检测到的用户输入和所识别的动画命令被动画化,以增强用户对化身通信的体验。 [0041] 虚幻引擎229可以与模拟(SIM)引擎224通信,以在虚拟环境中填充和呈现生成的化身。虚幻引擎229可以是与模拟(SIM)引擎224通信以向计算设备200a提供虚拟环境数据的虚拟现实引擎。虚拟环境可以被远程访问,虚拟环境内的化身可以在虚拟环境内通信和以其他方式交互。 [0042] 答案引擎226被配置为处理来自用户的音频信号。答案引擎226可以将音频信号转换为文本数据以用于分析。来自文本数据的标识符、关键词、关键术语(在本文中统称为“标识符”)可以由关键术语识别引擎223识别和分析。标识符可以被预先存储在例如计算设备 200a的数据228中或服务器计算机160的答案数据库264中。 [0043] 数据228或答案数据库264可以具有链接在答案引擎226中的相应预先存储的响应/答案。因此,一旦来自音频信号的标识符被关键术语识别引擎223确认、检测或识别,检测到的标识符就可以用于搜索数据228或答案数据库264以寻找答案或响应。此外,检测到的标识符可以帮助识别适合来自用户的输入的合适的规则、原则、情况、事件或活动,以便从数据库中寻找合适的答案或响应。检测到的标识符和所识别的关键词也可以有助于细化答案的范围。 [0044] 一旦映射和选择了答案和/或响应,答案引擎226可以进一步将答案和/或响应转换为语音信号,以通过模拟(SIM)引擎224输出为化身语音信号。当输出化身语音信号时,答案引擎226可以帮助绑定到化身的嘴唇同步。 [0045] 在一个示例中,当在答案引擎226中识别到来自数据库的相应答案或响应时,答案引擎226可以在输出化身语音信号之前进一步优化、处理和完善答案和/或响应。例如,在答案引擎226中编程的算法可以有助于提供专业级答案或响应,例如解释良好的精英级答案或响应。因此,即使在某些情况下,关键术语识别引擎223仅识别出少数标识符,也可以生成专业级答案或响应。在答案引擎226中编程的算法可以利用机器学习技术、人工智能系统、深度学习技术或其他类似技术,以基于来自用户控制的化身的输入来帮助生成答案或响应。因此,在来自用户的输入不包括足够的细节或解释(例如简单但不那么清楚的答案)的示例中,在答案引擎226中编程的算法可以帮助填补缺失信息的空白,并生成具有足够细节的具有专业级信息和知识的答案或响应。可以通过来自化身的重复输入或者通过其他合适的大数据分析技术来训练在答案引擎226中编程的算法。在一个示例中,答案引擎226可以以自然语言形式输出化身语音信号。 [0046] 如图2中所示,服务器计算160可以包括至少一个处理器267,类似于处理器216,至少一个处理器267被配置为执行来自存储器265的指令和设置269。用户可以通过诸如计算设备200a之类的一个或更多个计算设备来访问服务器计算160并与之交互。在一个示例中,存储器265可以包括用户简档储存器266、答案数据库264、活动数据库268、设置269或存储在存储器265中的其他数据,以便于服务器计算机160中的交互式化身培训系统的操作。当用户授权时,用户简档储存器266可以存储专用于用户创建化身的信息,例如服装偏好、音调选择、手势、习惯等,以便向用户设置的化身提供定制信息。任何个人身份信息都会被删除或加密或以其他方式保护,以在需要时保护用户的身份和隐私。对与用户相关联的数据进行访问还需要来自用户的授权。 [0047] 存储器265中的答案数据库264和活动数据库268可以存储有助于交互式化身培训系统的操作的信息。例如,如上所述,答案数据库264和/或活动数据库268可以存储数据,该数据包括针对与受训者有关的交互式化身培训系统的各种情况的活动、响应或答案。数据还可能包括与公司的专业领域相关的信息,这些领域对公司至关重要或被视为是重要的。 存储的数据可以包括基于文本和/或基于图形的信息,该信息传达对主题、情境、一系列现实生活或虚构示例的响应或答案,以示出作为应用于模拟、活动、事件、一些模拟材料的主题,其提供针对特定主题的交互式对等或培训者到受训者的练习会话,以便用户能够评估他/她解决问题或处理情况以及公司期望的任何其他类型的培训情况等的能力。存储在答案数据库264和活动数据库268中的数据可以由公司利用交互式化身培训系统生成,或者可以从其他实体在商业上获得。此外,活动数据库268还可以存储诸如培训内容之类的信息,以帮助受训者在某些情况下进一步定义他们的行为,诸如诚实、正直和坦率。此外,活动数据库268还可以存储测试问题的列表,使得培训者可以在将培训内容传递给受训者之后利用该列表来访问受训者的能力。处理器267可以被用于配置以执行来自设置269的命令,以在交互式化身培训系统中执行操作。 [0048] 在一个示例中,包括几个引擎或模块的应用模块270可以包括在服务器计算机160中。注意,应用模块270可以被编程或被配置为处于存储器265中的设置269或其他合适的数据库之下。在应用模块270中配置的引擎271、272、273、274、275、276、277、278是可执行部件。在图2中所描绘的示例中,应用模块270包括SIM引擎271、答案引擎272、音频引擎273、图形引擎274、关键术语识别引擎275、记录/回放引擎276、推荐引擎277和虚幻引擎278。在一个示例中,一个或更多个关键术语识别引擎275各自可以包括一个或更多个相应的关键词,例如关键词一、关键词二、关键词三等等,以便于对来自查询的关键词的识别。应当理解,这些仅仅是示例,并且交互式化身培训系统可以用更少或不同或附加的引擎来执行。注意,应用模块270可以与服务器计算机160中的存储器265或其他部件电通信,或者与计算设备 200a中的存储器214电通信,使得服务器计算机160的处理器267可以通过网络190直接或间接地从中检索信息。 [0049] 在一些示例中,SIM引擎271在由处理器执行时,可以处理来自用户的输入以创建化身。SIM引擎271的功能类似于上述计算设备200a中的SIM引擎224。SIM引擎271可以基于来自用户的设置、输入和偏好在虚拟空间中创建化身。 [0050] 当由服务器计算机160中的处理器267或由计算设备200a中的处理器216执行时,答案引擎272可以处理并生成对用户或对在交互式化身培训系统中创建的化身的答案或响应。答案引擎272的功能类似于如上所述的答案引擎226,其能够向受训者或化身受训者提供专业级响应或答案。 [0051] 当由服务器计算机160中的处理器267或由计算设备200a中的处理器216执行时,音频引擎273可以处理来自用户的音频输入。音频引擎273可以处理所捕获的音频输入以模拟来自用户的声音或语音,并将模拟的声音或语音转换为相应的音频信号以作为化身语音信号输出。可以将从音频引擎273生成的音频信号发送到SIM引擎271,以使化身语音信号与SIM引擎271创建的化身的嘴唇移动、手势或身体移动同步。音频引擎273可以与SIM引擎271通信,以便于将音频信号从音频引擎273传输到SIM引擎271,或者反之亦然,从而帮助创建具有期望语音输出的化身。替代地,可以以任何合适的方式输出所生成的来自音频引擎273的音频信号。 [0052] 当由服务器计算机160中的处理器267或由计算设备200a中的处理器216执行时,图形引擎274可以处理由相机245捕获的图像、照片、视频或其他信息,以便生成相关联的图形信号,例如身体移动、姿势、行为反应等,以在诸如计算设备200a中的显示屏或用户在化身出现的虚拟环境设置中以化身的三维或二维格式与之交互的头戴式显示器之类的输出设备236上输出。所生成的来自图形引擎274的图形信号可以与SIM引擎271通信,以便于将图形信号从图形引擎274传输到SIM引擎271,或者反之亦然,从而帮助创建具有模拟用户外观的期望图像的化身。SIM引擎271可以集成来自图形引擎274的图形信号和来自音频引擎 273的音频信号,以创建和完善具有期望的嘴唇同步、逼真皮肤、面部表情等的化身。 [0053] 当由服务器计算机160中的处理器267或由计算设备200a中的处理器216执行时,关键术语识别引擎275可以分析或处理来自用户的输入,以捕获关键语义短语、标识符、关键词和/或关键术语(在本文中统称为“标识符”),并将这样捕获的标识符发送到答案引擎 272以用于进一步处理和分析,以生成相应的答案或响应。例如,处理器267、216可以搜索涉及用户特定活动、事件、培训计划等的标识符。这样的标识符可能包括例如骚扰、消防演习、不公平行为、歧视、责任等。因此,当检测到或识别出这样的标识符时,可以由答案引擎272进行与这些标识符相关的搜索,以查找适当的答案或响应。关键术语识别引擎275类似于上述关键术语识别引擎223。 [0054] 当由服务器计算机160中的处理器267或由计算设备200a中的处理器216执行时,记录或回放引擎276可以处理并保存来自答案引擎272、226的响应和/或答案,以允许在用户触发时记录和回放所生成的或处理后的响应和/或答案。因此,用户或受训者可以利用回放功能来重新访问重复练习的培训计划,以增强学习体验并加强他们的学习和神经嵌入。 [0055] 当由服务器计算机160中的处理器267或由计算设备200a中的处理器216执行时,推荐引擎277可以基于从答案引擎272提供的搜索结果生成推荐分数。在一些示例中,答案引擎272可以响应于来自用户的输入而提供多个答案或响应,使得用户可以基于他/她自己的选择来确定最适合他/她想要的查询/输入的答案或响应。例如,由答案引擎272填充或生成的搜索结果可以与每个搜索结果的推荐分数或其他相关信息一起显示在显示屏250上。 通过在计算上分析培训情况的相关性和因素以及检测到的标识符,可以生成对答案或响应的搜索结果的总体高置信水平。此外,还基于包括检测到的一个或更多个标识符与选择的培训内容的相关性的总体置信水平的评估来生成推荐分数。这样,可以获得具有相对高置信水平的推荐分数。因此,可以基于响应于来自用户的输入而生成的具有高准确度水平的答案或响应,或者基于允许用户选择最适合他/她想要的查询的答案或响应的多个可能的答案或响应,来获得令人愉快的用户体验。 [0056] 当由服务器计算机160中的处理器267或由计算设备200a中的处理器216执行时,虚幻引擎278可以处理并生成虚拟空间或虚拟环境,其中可以呈现化身。虚幻引擎278可以是虚拟现实引擎,其可以向SIM引擎271提供虚拟环境数据以促进化身可能存在的虚拟环境。SIM引擎271可以帮助将虚拟环境与所创建的允许用户在虚拟环境中交互和参与培训计划的化身相集成。用户可以经由网络远程访问虚拟环境,并创建在虚拟环境中进行相互通信和交互的化身。 [0057] 尽管图1和图2仅示出两个计算设备200a、200b,但交互式化身培训系统100可以包括任何数量的计算设备。对处理器、存储器或服务器或计算设备的其他元件的引用将被理解为包括对可以或不可以协同操作的处理器、存储器、或元件的集合的引用。存储器可以包括存储关键词和/或问题的数据库,该关键词和/或问题可以促进交互式化身培训系统的操作。此外,每个服务器和计算设备可以包括多个服务器和/或计算设备。例如,每个服务器计算设备110可以包括多个服务器计算设备,多个服务器计算设备协同工作以执行如本文所述的应用或其他指令。此外,尽管本文所述的一些功能被指示为发生在单个计算设备或服务器上,但是如本文所述的主题的各方面可以通过多个计算设备或服务器(例如,如本文所述的通过网络160通信的信息)来实现。 [0058] 图3示出具有四个计算设备的示例化身培训系统300,这四个计算设备包括用户 302可以与之交互的如图1和图2中所示的计算设备200a和200b以及计算设备200c、200d。计算设备200a‑200d被配置使得它们可以经由网络190与服务器计算机160通信。计算设备可以是台式计算机200a、膝上型计算机200b、便携式设备200c、平板电脑200d或能够通过网络进行通信并在交互式化身培训系统中执行计算操作的任何其他设备。例如,计算设备200a‑ 200d每个都可以是诸如台式机、膝上型计算机、移动电话之类的全尺寸个人计算机中的任何一个或者诸如平板个人电脑、游戏系统、可穿戴式计算设备、上网本之类的设备或者能够经由网络进行通信的任何其他设备。 [0059] 图4示出由至少两个用户404、406(例如培训者406和受训者404)利用各自的计算设备402a、402b来操作交互式化身培训系统的示例,计算设备402a、402b与图2中所描绘的计算设备200a类似地配置。第一用户406(例如工作环境中的培训者、教练或导师)以及第二用户404(例如受训者、学生或学员)可以分别利用计算设备402a、402b来操作交互式化身培训系统。交互式化身培训系统可以利用SIM引擎271(或编程或嵌入在计算设备402a、402b中的SIM引擎224)来启动虚拟模拟应用,其中,交互式化身培训系统可以被操作以创建用于至少两个用户406、404之间的交互的虚拟空间/环境。在操作期间,还可以利用诸如答案引擎 272、226、关键术语识别引擎275、223以及服务器计算机160和/或计算设备200a中的其他合适的引擎和应用的其他模块来实现交互式化身培训系统的操作。 [0060] 在一个示例中,第一用户406可以在交互式化身培训系统中注册为培训者,而第二用户404可以在交互式化身培训系统中注册为受训者。交互式化身培训系统使得第一用户 406和第二用户404能够在培训者‑受训者、导师‑学员或教练‑学生关系中注册以进行交互。 在交互式化身培训系统中创建的虚拟空间中的第一用户406和第二用户404之间的交互可以是实时的,或者可以是预先编程的或预先记录的。第一用户406和第二用户404可以通过利用头戴式显示器(head‑mounted display,HMD)410、408和/或运动或姿势探测器420、422和/或其他相关联的探测器/传感器来参加和参与虚拟空间中的事件、活动、培训计划。头戴式显示器(HMD)410、408、运动或姿势探测器420、422或其他相关联的传感器可以允许用户查看虚拟环境中的化身、生物和其他元素并与之交互,以帮助更好地理解、参与或模拟培训情况,从而增强交互体验。注意,尽管图4中所描绘的运动或姿势探测器420、422是手持式/手持式设备,但注意,诸如可穿戴式设备或其他合适的传感器之类的其他类型的运动探测器也可用于帮助探测和感测用户406、404的移动、姿势和反应。替代地,当头戴式显示器(HMD)410、408和/或运动或姿势探测器420、422对用户406、408不可用时,用户406、404可以通过直接查看显示屏416、414中填充的内容并直接使用本文所定义的用户接口设备232向计算设备402a、402b输入命令来参与虚拟环境中的事件、活动、培训计划。 [0061] 图5描绘当经由计算设备402a、402b执行交互式化身培训系统时的信号处理图。交互式化身培训系统可以是利用在计算设备402a、402b中配置的多个引擎(例如SIM引擎、答案引擎、关键术语识别引擎或其他相关联的引擎)在计算设备402a、402b中或者经由网络 190在电通信中的服务器计算机160中编程的软件应用(例如虚拟模拟应用)。 [0062] 在图5所描绘的示例中,第一用户406可以是培训者、教练或导师,第二用户404可以是受训者、学生或学员。第一用户406和第二用户404两者都可以执行虚拟模拟应用以在计算设备402a、402b中启动交互式化身培训系统。虚拟模拟应用被配置为执行SIM引擎和其他关联引擎,以操作交互式化身培训系统。一旦启动了虚拟模拟应用,就可以请求用户406、 404选择或创建化身的模型来表示用户。注意,计算设备中的其他引擎(例如音频引擎、图形引擎等)可以与SIM引擎一起执行以用于化身创建。化身创建可以包括视频化身选择和音频变换选择。可以显示多个化身,用户可以从中选择期望的化身。替代地,用户可以根据需要输入期望的生物特征细节、尺寸、数字或其他信息,以创建他/她自己的化身。一旦选择或创建了化身,还可以选择相关联的音频变换。替代地,用户可以输入他/她自己的语音/声音以用于要映射到化身的音频创建。如上所述,化身被定义为用户在二维(two dimensions,2D)(例如分别在计算设备402a、402b中创建和显示的化身504、506)或在虚拟环境中出现的三维(three dimensions,3D)中的图形表征。所选择或创建的化身可以或者可以不必与用户的长相相似。化身可以是采用由计算设备中的相机拍摄的图像或视频形式的用户的表征。 [0063] 一旦创建了化身504、506以分别表示用户404、406,用户404、406就可以执行交互式化身培训系统,以实现化身504、506之间的通信。一旦计算设备402、402b两者都连接到网络190以建立连接,就可以激活化身504、506之间的通信。通信配置包括启动或参加交互式化身培训系统的至少一个计算设备的标识。例如,由第一化身506表示的第一用户406可以从化身列表中选择化身,例如表示第二用户404的第二化身504,该第二用户404也正在执行参加交互式化身培训系统的计算设备402a,以促进并开始执行培训计划。尽管在图5中所描绘的示例中,仅示出利用两个化身506、504的两个用户406、404,但注意,多个用户可以同时、非同时或以其他合适的方式利用交互式化身培训系统中的多个化身。 [0064] 在选择和创建化身504、506之后,第二用户404(例如受训者或学生)可以接收一系列培训计划,包括从活动数据库268或与交互式化身培训系统接合的其他合适的数据库、模块或引擎提供和生成的培训内容。培训计划或材料也可以由第一用户406(例如受训者或教练)分配,以确定要给予第二用户404(例如受训者或学生)的适当培训内容或计划。来自计算设备402、402b的显示屏可以播放培训内容,该培训内容允许第一用户406和第二用户404观看化身504、506在虚拟环境中播放培训内容时彼此交互。 [0065] 在执行培训过程之前、期间或之后,第一用户406和第二用户404可以交互地参加并交流查询、问题、情境模拟或其他相关联的活动,以确保培训计划的培训内容正确且无误地传递给第二用户404(诸如受训者或学生)。 [0066] 在一个示例中,第一用户406和第二用户404之间的交互可以通过输入来自第一用户406或第二用户404的查询(例如查询输入)来启动。在一个示例中,查询可以从第二用户 404(例如受训者或学生)输入。可以通过关键术语识别引擎(例如图5中所描绘的受训者关键术语识别引擎275a)来处理或传输该查询,以从第二用户404输入的查询中识别标识符。 这样的标识符然后可以被发送到教练关键术语识别引擎275b以用于进一步处理。教练关键术语识别引擎275b然后可以将具有适当标识符的查询输出到第一用户406(例如培训者或教练)。尽管在图5中所描绘的示例中,关键术语识别引擎包括教练关键术语识别引擎275b和受训者关键术语识别引擎275a,但注意,在一些示例中,仅一个关键术语识别引擎可用于处理、分析或检测来自第一用户406和第二用户404两者的查询或输入的关键术语。 [0067] 在具有适当标识符的查询被输出到第一用户406(例如培训者或教练)之后,第一用户406然后可以响应于来自第二用户404(例如受训者或学生)的查询而生成答案或响应。 从第一用户406输入的答案或响应然后也可以通过教练关键术语识别引擎275b传输,以从答案或响应中识别标识符。一旦通过教练关键术语识别引擎275b识别并检测到来自答案或响应的标识符,则可以将这样的标识符发送到答案引擎272。如上所述,答案引擎272可以进一步处理这样的标识符,以修改和生成精英级的处理后或优化后的答案或响应。因此,通过利用来自答案引擎272的计算分析和处理,第一用户406(例如培训者或教练)可以以普通、简单或随意的方式生成或提供答案或响应,并依靠答案引擎272以高精度、高专业性或最新信息(例如公司设置的新规则、监管或合规性)来处理、完善和优化答案或响应。 [0068] 替代地,答案引擎272可以包括一些预先存储的答案或响应。因此,在识别出适当的标识符之后的情况下,受训者关键术语识别引擎275a和/或教练关键术语识别引擎275b然后可以首先与答案引擎272通信,以查找预先存储在答案引擎272中的可用的答案或响应。在答案引擎272具有预先存储的响应于来自第二用户404(例如受训者或学生)的查询的答案或响应的情况下,该答案或响应可以被输出到第二用户404(例如受训者或学生),而不要求第一用户406回答或响应该查询。因此,可以节省培训计划所需的人员操作和人力,并且可以缩短并且更高效地管理培训计划所需要的培训时间。 [0069] 在一个示例中,答案引擎272可以利用机器学习技术、人工智能系统、深度学习技术或其他类似技术,以生成对来自第二用户404(例如受训者或学生)的查询的深思熟虑的响应,而不需要第一用户406(例如频繁涉及的培训者或教练)。注意,第一用户406和第二用户404之间的交互可以是实时的,或者可以是基于不同的培训要求和情况的预先编程或预先存储的模拟。 [0070] 此外,输出到第二用户404(例如受训者或学生)的答案或响应可以附有推荐分数。 可以输出具有推荐分数的答案或响应,以允许第二用户404(例如受训者或学生)选择、接受或拒绝最适合他/她的预期查询的推荐结果。 [0071] 图6描绘示出由至少第一和第二用户(例如培训者和受训者)利用交互式化身培训系统执行培训计划的示例方法600的流程图。这样的方法可以通过利用计算设备的操作来执行,该计算设备例如是上面描述的计算设备200a、200b、200c、200d、402a、402b中的一个或更多个,其修改或具有不同配置的各种其他计算设备中的任何一个由至少第一用户和第二用户操作。响应于培训计划访问或收集与用户相关联的数据将需要来自用户的授权和输入。 [0072] 以下方法中涉及的操作不需要按照所述的精确顺序进行。相反,可以以不同的顺序或同时处理各种操作,并且可以添加或省略操作。 [0073] 操作开始于框602a和框602b。注意,第一用户可以利用第一计算设备来利用包括框602a、框604a、框606a、框608、框610、框612、框614、框616的方法600来操作交互式化身培训系统,而第二用户可以利用第二计算设备来利用包括框602b、框604b、框606b、框608、框 610、框612、框614、框616的方法600操作交互式化身培训系统。当经由网络激活第一用户和第二用户之间的通信时,可以通过交互式化身培训系统来交互式地通信第一用户与第二用户。 [0074] 在框602a处,第一用户可以在操作第一计算设备中的交互式化身培训系统的应用中输入他/她的简档。类似地,在框602b处,第二用户可以在操作第二计算设备中的交互式化身培训系统的应用中输入他/她的简档。 [0075] 在框604a处,在已经输入用户简档之后,可以通过第一计算设备捕获并收集第一用户的图像和声音。类似地,在框604b处,可以通过第二计算设备捕获并收集第二用户的图像和声音。 [0076] 在框606a处,基于简档和捕获的信息,第一用户可以在交互式化身培训系统中创建第一化身。在框606b处,第二用户可以在交互化身培训系统中创建第二化身。 [0077] 在框608处,一旦创建了化身,化身之间的通信可以通过第一用户和/或第二用户的相互选择来激活,或者通过交互式化身培训系统自动启动。例如,第一用户(例如培训者)可以选择第二用户(例如受训者)以经由交互式化身培训系统进行培训计划。替代地,第二用户(例如受训者)可以选择第一用户(例如培训者)以继续进行培训计划。在一些示例中,交互式化身培训系统可以执行计算匹配过程,以基于个人用户所需的培训内容的类型来自动配对第一用户和第二用户。 [0078] 在框610处,一旦确定了一对用户(例如培训者和受训者),就可以选择培训计划的培训内容,以提供培训第二用户(例如受训者)所需的信息。在一个示例中,培训内容可以包括歧视和骚扰培训材料以及所生成的遵循所建立的和预设的程序以及公司政策的内容。这些程序可能遵循所建立的人力资源指南,并用于建立关键术语识别引擎中应用的关键词。 培训计划可以帮助受训者(例如公司中的新员工或老员工)了解什么是骚扰或歧视、什么不是骚扰或歧视以及如何在不违反组织中的规则、合规性、规章制度或相关联的法律的情况下成功地解决这种情况。 [0079] 在框612处,在培训计划期间或之后,第一用户和第二用户可以双向交互通信,以提供对问题、查询或任何模拟情况(如果有的话)的响应、答案或反馈。例如,由第二用户控制的受训者化身可以向培训者化身询问诸如在交互式化身培训系统中生成查询输入之类的问题。由第一用户控制的培训者化身可以回答诸如在系统中生成初始响应输入之类的问题。交互式培训系统中的答案引擎可以帮助处理、优化和完善来自培训者化身的诸如在系统中生成处理后的或优化后的响应输入之类的答案或响应,以提高答案或响应的准确性并提高通信效率。在另一示例中,由第一用户控制的培训者化身可以向受训者化身询问问题(或执行测试),以确保培训内容被正确且适当地传递给由第二用户控制的受训者化身,而不会产生误解或错误通信。 [0080] 在框614处,在培训者化身和受训者化身的交互和通信期间,交互内容可以经由网络存储到计算设备或服务器计算机的数据库中。如上所述,答案引擎可以利用机器学习技术,使得对答案引擎生成的每个答案或响应可以被存储并进行计算分析。通过这样做,当将来的受训者化身再次出现类似的问题或查询时,交互式化身培训系统中的答案引擎可以在培训者化身的呈现下自动生成对问题的正确答案或响应,而不需要第一用户(真人)重复地解决类似的问题。因此,当执行培训计划时,可以提高培训效率,并且可以节省公司中的人力。此外,所保存的交互式内容可以由受训者化身反复审查和重新学习,以增强学习体验或强化学习者的神经嵌入。 [0081] 在框616处,在培训内容被传递并且问题被回答之后,交互式化身培训系统可以从培训者化身、受训者化身或两者寻求确认。一旦双方都被确认完成了培训计划,那么培训计划就可以结束,如框618中所示。相反,如果培训者化身或受训者化身中的任何一方认为存在需要额外解释或讨论的任何未解决的问题或情况,则培训计划可以循环回到框612以用于进一步的交互和通信。例如,培训者化身可以向受训者化身提供测试问题或情境模拟的列表以进行响应和参加。当受训者化身正确回答问题或以适当和正确的方式执行对情境模拟的响应时,培训者化身可以批准并同意要标记的培训过程完成。相反,当受训者化身没有通过所执行的来自测试或模拟情境的特定级别的正确性时,可以请求受训者化身重做或重新学习在框610处选择的培训内容,或者培训者化身可以分配额外的培训内容以帮助受训者化身理解并通过培训测试。 [0082] 图7描绘示出利用交互式化身培训系统执行培训计划的示例方法700的流程图。以下方法中涉及的操作不需要按照所描述的精确顺序执行。相反,可以以不同的顺序或同时处理各种操作,并且可以添加或省略操作。 [0083] 操作在框702处开始。由诸如交互式化身培训系统之类的系统中的一个或更多个处理器接收用于创建第一化身的第一简档输入。 [0084] 在框704处,由系统中的一个或更多个处理器在系统中呈现第一化身的第一图像。 [0085] 在框706处,由系统中的一个或更多个处理器接收用于创建第二化身的第二简档输入。 [0086] 在框708处,由系统中的一个或更多个处理器呈现第二化身的第二图像。 [0087] 在框710处,由系统中的一个或更多个处理器接收来自第二化身的查询输入。 [0088] 在框712处,通过系统中的一个或更多个处理器将查询输入发送到系统中的第一化身。 [0089] 在框714处,由系统中的一个或更多个处理器生成来自第一化身的初始响应输入。 [0090] 在框716处,由系统中的一个或更多个处理器处理初始响应输入。 [0091] 在框718处,由系统中的一个或更多个处理器基于输入的初始响应生成处理后的响应。 [0092] 在框720处,由系统中的一个或更多个处理器将处理后的响应输出到第二化身。 [0093] 本公开提供一种交互式化身培训系统。交互式化身培训系统允许培训者在虚拟环境中以简化的格式输入对来自受训者的问题的答案/响应。交互式化身培训系统中的答案引擎然后可以处理并优化专业级的答案或响应,使得培训过程可以保持简洁以节省整个培训时间。此外,优化后的或处理后的答案还可以提高提供给受训者的培训准确性。答案或响应可以进一步与推荐分数一起输出,使得受训者可以选择最适合他/她的预期查询的答案。 [0094] 除非另有说明,否则前述替代示例不是相互排斥的,而是可以以各种组合来实现以实现独特的优点。由于可以在不偏离由权利要求限定的主题的情况下利用上述特征的这些和其他变化和组合,因此实施例的前述描述应当以说明的方式进行,而不是以权利要求所限定的主题的限制的方式进行。此外,本文所述示例的提供以及措辞为“例如”、“包括”等的条款,不应被解释为将权利要求的主题限制于特定示例;相反,示例旨在仅示出许多可能的实施例中的一个。此外,不同附图中相同的附图标记可以标识相同或相似的元件。