技术领域
[0001] 本申请属于通信技术领域,具体涉及一种信息交互方法和信息交互装置。
相关背景技术
[0002] 随着通信技术的发展,电子设备的应用更加广泛。
[0003] 通常,不同用户可以使用不同设备进行视频通话,例如在线教学等。以在线教学为例,老师使用教师端设备为使用学生端设备的学生上课。然而,由于教师端设备的屏幕尺寸有限,且参与在线教学的学生数量较多,因此,在老师在使用教师端设备讲课的情况下,教师端设备不但需要显示教学内容,还要显示部分学生的头像,从而导致在学生没有关注教学内容时,老师无法及时提醒学生认真听课,降低教学质量,导致视频通话的交互效果较差。
具体实施方式
[0023] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0024] 本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
[0025] 在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0026] 在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或者两个以上,例如,多个元件是指两个或者两个以上的元件等。
[0027] 下面对本申请实施例中涉及的一些术语/名词进行解释说明。
[0028] open source computer vision library,OpenCV:是一个跨平台的计算机视觉库。本法明实施例中用于实现人工智能人像识别技术。
[0029] socket链路:传输层实现端到端的通信的网络链路。本申请实施例中可以用于第二设备向第一设备发送信息。
[0030] java script object notation:也可称为JSON,用于表示一种轻量级的数据交换格式。本申请实施例中,第二设备向第一设备发送的信息的格式可以为JSON格式。
[0031] 如图1所示,本申请实施例提供的信息交互系统至少可以包括云服务器A、第一设备B和第二设备C。需要说明的是,图1是以信息交互系统包括一个第一设备为例进行说明的,实际实现时,第一设备的数量可以为多个;图1中各个设备之间的连接方式可以是有线连接或无线连接;另外,本申请实施例中的第一设备和第二设备可以为同种类型的电子设备,或为不同类型的电子设备。具体可以根据实际情况确定,本申请实施例对此不作限定。
[0032] 在第一设备和第二设备建立视频通话的情况下,第一设备B或第二设备C发送的数据流在通过云服务器10的处理后可以传送至对方设备中。其中,第一设备B发送的数据流可以包括以下至少一项:直播数据流和通过第一设备B的摄像头采集的视频数据流,第二设备C发送的数据流可以包括以下至少一项:直播数据流和通过第二设备C的摄像头采集的视频数据流。云服务器A可以用于对直播数据流和视频数据流进行处理和计算。
[0033] 具体地,为了更清楚地示意本申请实施例提供的信息交互方法,下面提供了信息交互方法的三种可能的应用场景:
[0034] (1)应用于在线教学场景。以如图1所示的第一设备为学生端设备,第二设备为教师端设备为例,使用第一设备的第一用户为学生,使用第二设备的第二用户为教师。一种方式为,当学生的注意力分散时,学生端设备可以提醒学生集中注意力,并通过向教师端设备发送信息,以使老师获知该学生不认真听讲;另一种方式为,当老师较长时间注视到教师端设备中的某个学生的视线不在学生端设备的屏幕上时,学生端设备可以接收教师端设备发送的信息,提醒该学生集中注意力听讲。如此,提高直播教学质量。
[0035] (2)应用于在线直播场景。以如图1所示的第一设备为卖家设备,第二设备为买家设备为例,使用卖家设备的第一用户为卖家,使用买家设备的第二用户为买家。当买家在买家设备观看通过买家设备正在直播销售的商品时,如果当卖家设备邻近直播到买家心仪商品时,买家因其他事情恰好不在买家设备跟前,那么买家设备可以输出消息(振铃、语音提示等)提醒买家返回买家设备跟前,从而买家不会错过购买买家设备的直播销售的心仪商品的机会。如此,提高直播质量。
[0036] (3)应用于在线视频会议。以如图1所示的第一设备为主讲设备,第二设备为参会设备为例,使用第一设备的第一用户为主持人员,使用第二设备的第二用户为参会人员。当主持人员使用主讲设备和参会人员使用参会设备进行视频会议时,一种方式为,当参会人员的注意力分散时,参会设备可以提醒参会人员集中注意力,并通过向主讲设备发送信息,以使主持人员获知该参会人员不认真参与会议;另一种方式为,当主持人员较长时间注视到主讲设备中的某个参会人员的视线不在参会设备的屏幕上时,参会设备可以接收主讲设备发送的信息,提醒该参会人员集中注意力听主持人讲话。如此,提高直播教学质量。
[0037] 本申请实施例提供了两种信息交互方法。下面结合附图,分别通过下述的实施例一、实施例二及各自的应用场景,对本申请实施例提供的信息交互方法进行详细地说明。
[0038] 实施例一
[0039] 如图2所示,本申请实施例提供一种信息交互方法,应用于如图1所示的第一设备和第二设备。该信息交互方法可以包括下述的S201至S203。
[0040] S201、在第一设备与第二设备处于视频通话状态的情况下,第一设备获取第一时长。
[0041] 其中,上述第一时长可以为第一用户的视线偏离第一设备的屏幕的时长。
[0042] 需要说明的是,本申请实施例中,“第一设备与第二设备处于视频通话状态”具体是指:第一设备中的第一应用程序和第二设备中的第二应用程序均处于前台运行状态,且第一设备通过第一应用程序和第二设备通过第二应用程序建立视频通话。其中,第一设备中的第一应用程序中的视频画面至少可以包括通过至少一个第二设备的摄像头采集的视频画面,第二设备中的第二应用程序中的视频画面至少可以包括,通过至少一个第二设备的摄像头采集的视频画面。该第一应用程序和该第二应用程序可以为相同类型的应用程序,或为不同类型的应用程序。
[0043] 可选的,第一设备的第一应用程序中的视频画面还可以包括第一文件。其中,该第一文件可以为第二设备提供的文件,或为第二设备中的第二应用程序提供的文件。
[0044] 可选的,第二设备的第二应用程序中的视频画面还可以包括第二文件。其中,该第二文件可以为第二设备存储的文件,或为第二设备中的第二应用程序提供的文件。
[0045] 可选的,第一应用程序和第二应用程序可以为直播类应用程序或其他具备视频通话功能的应用程序。
[0046] 需要说明的是,在第一设备启动第一应用程序,第二设备启动第二应用程序,且第一设备和第二设备处于视频通话状态的情况下,第一设备可以通过第一设备的摄像头采集使用第一设备的第一用户的人脸图像或眼部图像,并基于人工智能人像识别技术、人像动作追踪技术、人工智能视线算法检测技术等计算出该第一用户的视线的相关参数信息,以判断第一用户的视线是否偏离第一设备的屏幕。
[0047] 本申请实施例中的人工智能人像识别技术至少包括人脸检测算法和人脸识别算法等。如此,运用人脸检测算法和人脸识别算法,通过对电子设备的摄像头采集的视频图像进行计算,得到人脸轮廓、面部特征点等信息。当电子设备检测出人脸的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颚等关键点的信息后,可以采用OpenCV的solvePnP函数解出旋转向量,最后将旋转向量转换为欧拉角,作为面部角度参考。如果面部角度大于阈值角度,则认为用户视线不在电子设备的屏幕上,即用户的视线偏离电子设备的屏幕。
[0048] 人像动作追踪技术基于人工智能人像识别技术获得到人脸轮廓、面部特征点等信息,确定人脸是否处于转头、摇头、低头等动作。人像动作追踪技术可以通过预设的人像动作模型实现。
[0049] 可选的,在第一设备和第二设备进行视频通话的过程中,第二设备的屏幕的第二界面不仅可以显示第二文件,还可以显示人像标识、与人像动作模型对应的图形。其中,该人像标识可以为使用第一设备的第一用户的真实头像,该与人像动作模型对应的图形可以根据用户的需求增加或删减。
[0050] 人工智能视线算法是根据摄像头采集的图片帧,确定人的视线角度的方法。人工智能视线算法是基于人工智能人像识别技术实现的。具体地,人工智能视线算法包含人脸检测、眼部区域截取和视线角度计算三个步骤。
[0051] (1)人脸检测:
[0052] 本申请实施例中,人脸检测是基于OpenCV实现的人脸检测功能。
[0053] (2)眼部区域截取:
[0054] 首先,得到整个人脸图像后,可以从整个人脸图像中截取出左右眼部区域的图像。然后,利用人脸检测功能,从左右眼部区域的图像中检测出左右眼的区域和位置。
[0055] (3)视线角度计算:
[0056] 视线角度为用户的视线与电子设备的屏幕的夹角。
[0057] 使用OpenCV来实现瞳孔位置确定,再根据实时数据帧分析,定位瞳孔和人脸的位置,再根据人脸和瞳孔的位置来计算视线移动的角度。
[0058] 如图3中的(a)所示,若左右瞳孔的中间点A1和C1在眼部区域的中心附近时,用户的左右瞳孔的中心点分别距离左右眼角中心交点B1的距离A1B1和B1C1相等,则认为视线直视,即用户的视线未偏离屏幕。以此为基准计算视线移动的角度。
[0059] 如图3中的(b)所示,当用户的侧面指向电子设备的屏幕时,用户的左右瞳孔的中心点A2、C2分别距离左右眼角中心交点B2的距离A2B2和B2C2不相等,从而可以得到偏移量,并可以根据偏移量等参数计算用户的视线角度。电子设备判断用户的左右眼球瞳孔中心点距离脸部特征的边界的距离,若瞳孔偏向某一方向的边界超过设定阈值,则电子设备确定用户的视线不在电子设备的屏幕上;若瞳孔偏向某一方向的边界未超过设定阈值,则电子设备确定用户的视线仍在电子设备的屏幕上,即用户的视线指向电子设备的屏幕。其中,设定阈值可以根据不同的人脸信息,以及左右眼角的距离动态计算。
[0060] 可选的,关于上述人工智能人像识别技术、人像动作追踪技术、人工智能视线算法的具体实现可以参照相关技术的内容,此处不予赘述。
[0061] 可选的,电子设备判定用户的视线仍在电子设备的屏幕上包括以下两种情况:
[0062] (1)用户的视线直视电子设备的屏幕,即用户的视线不存在偏移。
[0063] (2)用户的视线从直视发生偏移,即用户的侧脸指向电子设备的屏幕,但用户的视线角度为未超过设定阈值。
[0064] 当第一设备通过人工智能视线算法计算出第一用户的视线角度大于第一设备设定阈值(即超过设定阈值)时,第一设备判定第一用户的视线偏离第一设备的屏幕。
[0065] 可以理解的是,在第一设备确定第一用户的视频偏离第一设备的屏幕的情况下,第一设备可以启动计时器计时,以获取第一时长,即第一用户的视线偏离第一设备的屏幕的时长。
[0066] S202、在该第一时长大于或等于第一预设时长的情况下,第一设备输出第一信息,并向第二设备发送第二信息。
[0067] 其中,上述第一信息可以用于提示第一用户调整视线方向,第二信息可以用于指示第二设备将目标标识由第一显示方式更新为第二显示方式,该目标标识为与该第一用户对应的标识。
[0068] 可选的,上述目标标识可以包括第一设备的摄像头实时采集的第一用户的人脸图像,即目标标识可以实时更新变化。
[0069] 可选的,上述目标标识还可以包括的姓名、昵称、性别等。
[0070] 可选的,上述第一预设时长可以为第一设备的第一应用程序的预先设定的时长,或为第一用户在第一应用程序中自定义设置的时长。
[0071] 可选的,上述“第一设备输出第一信息”可以包括以下任意一项:第一设备震动预设次数、第一设备播放预设语音或预设铃声、第一设备闪烁预设颜色的灯光、第一设备显示预设消息等。如此,第一用户可以根据第一信息调整视线方向,即第一用户重新将注意力集中在第一设备的屏幕上。
[0072] 可选的,本申请实施例提供的信息交互方法还可以包括:在第一设备的第一应用程序的第一界面中,以目标方式显示直播画面。如此,通过突出显示直播画面,可以提醒第一用户调整视线方向,以达到提醒第一用户认真观看该直播画面的目的。例如,在第一设备的第一应用程序的第一界面中,显示以红色框线标记的直播画面。
[0073] 可选的,在第二设备与多台设备建立视频通话的情况下,第一设备除了可以向第二设备发送第二信息,还可以向其他设备发送第二信息。
[0074] S203、第二设备接收该第二信息。
[0075] 可选的,在第二设备接收第二信息之前,在第二设备与多台设备建立视频通话的情况下,在第二设备的第二应用程序的第二界面中,显示有包括目标标识在内的多个标识,该多个标识为与第二设备建立视频通话的包括第一设备在内的多个设备对应的标识。
[0076] 可选的,上述第一显示方式可以为在第二应用程序的第二界面中默认显示目标标识的方式。例如,在第二设备的第二应用程序的第二界面中,以默认尺存显示包括目标标识在内的多个标识。
[0077] 可选的,上述第二显示方式可以为在第二设备的第二应用程序的第二界面中,相对于第一显示方式突出显示目标标识的方式。例如,在第二设备的第二应用程序的第二界面中,在一个预设区域中将目标标识放大显示,并用红色框线标记,该预设区域可以为第二界面中所有预设区域中位置靠前的区域。即将该目标标识固定显示在该一个预设区域。如此,使用第二设备的第二用户可以知道第一用户的视线偏离第一设备的屏幕,从而第二用户可以通过第二设备向第一设备发送语音消息或文字消息提醒第一用户调整视线方向。
[0078] 可选的,在第二设备的第二应用程序的第二界面中,如果在第二界面中的一个预设区域固定显示有目标标识,那么在第二界面中的其他预设区域,第二设备可以继续更新显示标识列表中除目标标识外的标识。例如,第二界面包括区域1和区域2,区域1可以固定显示学生1的标识,区域2可以按照预设周期依次更新显示为学生2的标识、学生3的标识、学生4的标识。
[0079] 可选的,在第二设备与多台设备建立视频通话的情况下,如果除第二设备外的其它设备接收到第二信息,那么其它设备可以在其他应用程序的界面中增加显示目标标识。如此,使用其他设备的一些用户可以知道与目标标识对应第一用户注意力不集中,且可以警醒这些用户集中注意力在屏幕上。
[0080] 示例性的,假设学生A(第一用户)使用的第一设备和教师使用的第二设备建立视频通话以进行网络直播授课,第一预设时长为30秒。当第一设备检测到学生A的视线偏离第一设备的屏幕时,第一设备可以启动计时器开始计时。如果第一设备获取到计时器计时的时间(即学生A的视线偏离第一设备的屏幕的时长)大于或等于30秒,那么第一设备可以响铃,以提示学生A调整视线方向,并向第二设备发送第二信息。在第二设备接收到第二信息之后,第二设备可以将目标标识由第一显示方式更新为第二显示方式,从而,教师可以通过第二设备确定学生A没有认真听讲。如此,教师可以提醒学生A认真听讲。
[0081] 本申请实施例提供一种信息交互方法,在第一设备和第二设备进行视频通话的过程中,第一设备可以检测到使用第一设备的第一用户的视线偏离第一设备的屏幕,并获取第一用户的视线偏离第一设备的屏幕的第一时长。因此,在第一时长大于或等于第一预设时长的情况下,一方面,第一设备可以输出第一信息,从而第一用户可以根据第一信息调整视线方向,即第一用户重新将注意力集中在第一设备的屏幕上;另一方面,第一设备可以向第二设备发送第二信息,从而第二设备可以突出显示第一用户对应的目标标识,进而,使用第二设备的第二用户可以提醒第一用户重新将注意力集中在第一设备的屏幕上。如此,增强了第一设备和第二设备的交互性能,从而提高了视频通话的质量(例如,提高直播教学质量)。
[0082] 可选的,在第一设备输出第一信息之后,第一设备可以通过设备摄像头继续采集第一用户的人脸图像,以判断第一用户的视线是否指向第一设备的屏幕。示例性的,上述S202之后,本申请实施例提供的信息交互方法还可以包括下述S204或S205,即S204和S205择一执行。
[0083] S204、若检测到第一用户的视线指向第一设备的屏幕,则第一设备停止输出第一信息。
[0084] 可选的,从第一设备输出用于提示第一用户调整视线方向的第一信息开始,第一设备可以启动计时器开始计时。
[0085] 可选的,上述S204具体可以为:若在目标时长内检测到第一用户的视线始终指向第一设备的屏幕,则第一设备停止输出第一信息。
[0086] 可选的,上述“停止输出第一信息”可以包括以下任意一项:停止震动固定次数、停止播放预设语音或预设铃声、停止闪烁预设颜色的灯光、取消显示预设消息等。
[0087] S205、若检测到第一用户的视线一直偏离第一设备的屏幕,则第一设备持续输出第一信息。
[0088] 可选的,上述S205具体可以为:若第一设备检测到第一用户的视线一直偏离第一设备的屏幕,则第一设备可以确定第一用户始终未调整视线方向,因此,可以按照固定时间间隔持续输出第一信息。
[0089] 可选的,上述“持续输出第一信息”可以包括以下任意一项:持续震动固定次数、持续播放预设语音或预设铃声、持续闪烁预设颜色的灯光、间隔持续显示预设消息等。
[0090] 本申请实施例提供的信息交互方法,一方面,如果第一设备检测到第一用户的视线指向第一设备的屏幕,那么第一设备可以及时停止输出第一信息,从而可以节省第一设备的电量资源;另一方面,如果第一设备检测到第一用户的视线始终偏离第一设备的屏幕,那么第一设备可以持续输出第一信息,直到第一用户的视线指向第一设备的屏幕,从而提高了第一设备和第二设备的视频通话质量。如此,第一设备可以根据实际情况控制是否输出第一信息,模拟现实场景,提高了用户体验感。
[0091] 可选的,在第一设备输出用于提示第一用户调整视线方向的第一信息之后,如果第一设备通过设备摄像头继续采集第一用户的人脸图像,确定第一用户的视线指向第一设备的屏幕,那么第一设备可以向第二设备发送用于解除突出显示目标标识的消息。示例性的,结合图2,如图4所示,本申请实施例提供的信息交互方法还可以包括下述S206和S207。
[0092] S206、若检测到第一用户的视线指向第一设备的屏幕,则第一设备向第二设备发送目标信息。
[0093] 其中,上述目标信息可以用于指示第二设备将目标标识由第二显示方式更新为第一显示方式。
[0094] 可选的,在第一设备检测到第一用户的视线指向第一设备的屏幕的情况下,第一设备可以确定第一用户的视线在第一设备上,从而可以向第二设备发送用于控制第二设备将目标标识由第二显示方式更新为第一显示方式的目标信息,即取消突出显示目标标识。
[0095] S207、第二设备接收该目标信息。
[0096] 可选的,在第二设备的第二应用程序的第二界面中,如果第二设备接收到目标信息,那么由于目标信息用于控制第二设备将目标标识由第二显示方式更新为第一显示方式,因此,第二设备可以在所有预设区域重新更新显示包括目标标识在内的所有标识。
[0097] 需要说明的是,上述S204和S206可以同时执行;或者,先执行S204,再执行S206;或者,先执行S206,再执行S204。具体依据实际情况确定,本申请实施例对此不作限定。
[0098] 本申请实施例提供的信息交互方法,如果若第一设备检测到第一用户的视线指向第一设备的屏幕,则第一设备可以向第二设备发送用于控制第二设备将目标标识由第二显示方式更新为第一显示方式的目标信息。如此,在第二设备接收到该目标信息之后,第二设备取消突出显示目标标识,以将目标标识更新到初始的显示方式,从而既使得使用第二设备的第二用户可以确定该目标标识对应的第一用户的视线已经指向第一设备的屏幕,例如,教师可以确定学生继续认真听讲。
[0099] 本申请实施例提供一种信息交互方法,应用于如图1所示的第一设备。该信息交互方法可以包括下述的S301和S302。
[0100] S301、在第一设备与第二设备处于视频通话状态的情况下,第一设备获取第一时长。
[0101] 其中,上述第一时长为第一用户的视线偏离第一设备的屏幕的时长。
[0102] S302、在该第一时长大于或等于第一预设时长的情况下,第一设备输出第一信息,并向第二设备发送第二信息。
[0103] 其中,上述第一信息用于提示第一用户调整视线方向,第二信息用于指示第二设备将目标标识由第一显示方式更新为第二显示方式,该目标标识为与该第一用户对应的标识。
[0104] 可选的,在第一设备输出第一信息之后,本申请实施例提供的信息交互方法还可以包括下述S303或S304,即S303或S304择一执行。
[0105] S303、若检测到第一用户的视线指向第一设备的屏幕,则第一设备停止输出第一信息。
[0106] S304、若检测到第一用户的视线一直偏离第一设备的屏幕,则第一设备持续输出第一信息。
[0107] 可选的,在第一设备输出第一信息之后,本申请实施例提供的信息交互方法还可以包括下述S305。
[0108] S305、若检测到第一用户的视线指向第一设备的屏幕,则第一设备向第二设备发送目标信息。
[0109] 其中,上述目标信息用于指示第二设备将目标标识由第二显示方式更新为第一显示方式。
[0110] 对于上述S301至S305的描述具体可以参见上述实施例中对S201至S207的相关描述,此处不再赘述。
[0111] 本申请实施例提供一种信息交互方法,在第一设备和第二设备进行视频通话的过程中,第一设备可以检测到使用第一设备的第一用户的视线偏离第一设备的屏幕,并获取第一用户的视线偏离第一设备的屏幕的第一时长。因此,在第一时长大于或等于第一预设时长的情况下,一方面,第一设备可以输出第一信息,从而第一用户可以根据第一信息调整视线方向,即第一用户重新将注意力集中在第一设备的屏幕上;另一方面,第一设备可以向第二设备发送第二信息,从而第二设备可以突出显示第一用户对应的目标标识,进而,使用第二设备的第二用户可以提醒第一用户重新将注意力集中在第一设备的屏幕上。如此,增强了第一设备和第二设备的交互性能,从而提高了视频通话的质量(例如,提高直播教学质量)。
[0112] 本申请实施例提供一种信息交互方法,应用于如图1所示的第二设备。该信息交互可以包括下述的S401。
[0113] S401、第二设备接收第一设备发送的第二信息。
[0114] 对于上述S401的描述具体可以参见上述实施例中对S203的相关描述,此处不再赘述。
[0115] 可选的,本申请实施例提供的信息交互方法还可以包括下述的S402。
[0116] S402、第二设备接收第一设备发送的目标信息。
[0117] 对于上述S401和S402的描述具体可以参见上述实施例中对S201至S207的相关描述,此处不再赘述。
[0118] 本申请实施例提供一种信息交互方法,由于第二设备可以接收到用于控制第二设备将目标标识由第一显示方式更新为第二显示方式的第二信息,因此,第二设备可以将目标标识以第二显示方式突出显示在第二设备的屏幕上,如此,使用第二设备的第二用户可以知晓与该目标标识对应的第一用户的视线偏离第一设备的屏幕,从而使用第二设备的第二用户当前第一用户的视频偏离第一设备的屏幕,并可以使得第二用户提醒第一用户调整视线方向。
[0119] 实施例二
[0120] 如图5所示,本申请实施例提供一种信息交互方法,应用于如图1所示的第一设备和第二设备。该信息交互方法可以包括下述的S501、S502和S503。
[0121] S501、在第一设备与第二设备处于视频通话状态的情况下,第二设备获取第二时长。
[0122] 其中,上述第二时长可以为第二用户的视线指向第二设备的屏幕中目标标识的时长,该目标标识可以为与使用第一设备的第一用户对应的标识。
[0123] 具体地,第二设备可以根据上述实施例一中的视线检测算法,实时检测第二用户的视线角度,把第二设备的屏幕等分为N块区域,并对第二用户的人脸关键点信息做映射。如果第二用户的视线保持同一方向持续S秒以上,则第二设备认为第二用户在关注该方向对应显示的标识指示的其他用户。第二设备可以根据第二用户的视线角度查询与其对应的第二设备的屏幕区域,并根据该屏幕区域寻找查找该屏幕区域展示的用户信息。此时,该屏幕区域可以固定显示该标识,停止该屏幕区域轮换刷新为其他的标识。其中,S为正整数。
[0124] 可选的,在第二设备检测到第二用户的视线指向设备的屏幕中的目标标识的情况下,第二设备可以启动计时器开始计时,即第二用户的视线指向第二设备的屏幕中目标标识的时长。
[0125] S502、在该第二时长大于或等于第二预设时长的情况下,第二设备将目标标识由第一显示方式更新为第二显示方式,并向第一设备发送第三信息。
[0126] 其中,上述第三信息用于提示第一用户调整视线方向。
[0127] 可选的,上述第二预设时长可以为第二设备的第二应用程序的预先设定的时长,或为第二用户在第二应用程序中自定义设置的时长。
[0128] 可选的,上述第二预设时长与第一预设时长可以相同或不同。
[0129] 可选的,关于第一显示方式和第二显示方式的具体描述可以参照上述实施例中的具体描述,此处不再赘述。
[0130] 可选的,在第二时长大于或等于第二预设时长的情况下,如果与第二设备建立视频通话的为多个设备,那么第二设备可以向多个设备中除第一设备外的其他设备发送第四信息。其中,该第四信息用于控制其他设备分别按照第二显示方式显示目标标识。如此,可以使得使用其他设备的用户知晓与目标标识对应的第一用户的视线偏离第一设备的屏幕,以此警醒使用其他设备的用户的视线能够朝着第一设备的屏幕。
[0131] 例如,在直播教学的过程中,若学生A的视线偏离第一设备的屏幕上,则第二设备可以控制将该学生A的头像显示在其他学生的设备上,以及可以警醒其他学生认真听讲。
[0132] 可选的,在第二设备接收到用户输入的提示信息的情况下,第二设备向第一设备发送第三信息。其中,该提示信息可以包括以下任意一项:语音信息、文字信息等,且该提示信息用于指示第一用户。
[0133] 例如,在直播教学的过程中,若学生A的视线偏离第一设备的屏幕上,则教师可以通过第二设备输入语音消息点名学生A,在第二设备接收到该语音消息的情况下,由于该语音消息指示学生A,因此,第二设备可以向学生A使用的第一设备发送用于提示学生A调整视线方向的第三信息。
[0134] S503、第一设备接收该第三信息。
[0135] 可选的,在第一设备接收到第三信息的情况下,第一设备可以输出用于提示第一用户调整视线方向的信息。
[0136] 可选的,本申请提供的信息交互方法还可以包括:在第一设备接收第三信息的情况下,在第一设备的第一应用程序的第一界面以目标方式显示直播内容。例如,该目标方式可以为以红色框线标记显示直播内容。
[0137] 示例性的,假设学生A(第一用户)使用的第一设备和教师使用的第一设备建立视频通话以进行网络直播授课,第二预设时长为10秒。当第二设备通过视线算法检测到教师的视线指向第一设备屏幕中显示的用于指示学生A的头像标识(即目标标识)时,第二设备可以启动计时器开始计时。如果第二设备获取到计时器计时的时间大于或等于10秒,那么第二设备可以将目标标识由第一显示方式更新为第二显示方式,并通过Socket链路发送json格式化的第三信息。从而,在第一设备接收到该第三信息后,第一设备可以震动5下,以提醒学生调整视线至第一设备的屏幕。
[0138] 本申请实施例提供一种信息交互方法,在第一设备与第二设备处于视频通话状态的情况下,第二设备可以检测到使用第二设备的第二用户的视线指向第二设备的屏幕中目标标识,并获取第二用户的视线指向第二设备的屏幕中目标标识的第二时长。因此,在第二时长大于或等于第二预设时长的情况下,一方面,第二设备可以突出显示第一用户对应的目标标识,从而,第二用户可以更加关注与目标标识对应的第一用户是否集中注意力;另一方面,第二设备可以向第一设备发送第三信息,从而第一设备可以根据第三信息提醒第一用户及时调整视线。如此,增加了第一设备和第二设备的交互性能,提高了视频通话质量。
[0139] 可选的,上述第二设备与M个设备处于视频通话状态,该M个设备包括第一设备。第二设备的屏幕包括N个预设区域。M和N为正整数,且M大于N。本申请实施例提供的信息交互方法还包括下述S504和S505。
[0140] S504、第二设备在N个预设区域中的每个预设区域显示至少一个标识。
[0141] 其中,一个标识与使用M个设备中的一个设备的用户一一对应。例如,一个标识为一个设备的摄像头采集的一个用户的人脸画面。
[0142] 可以理解的是,上述N个预设区域分别位于除用于显示直播内容的区域外的区域。例如,N=4,4个预设区域分别平均分布在第二设备的屏幕的四个顶角,且每个预设区域的尺寸小于或等于预设尺寸。可以理解的是,在这4个预区域显示至少一个标识的情况下,可以减少对主画面内容的遮挡。
[0143] 可选的,上述N个预设区域中的每个预设区域显示的标识的数量可以相同或不同。
[0144] S505、每隔第三预设时长,第二设备更新显示该每个预设区域中的标识。
[0145] 可选的,上述第三预设时长可以为第二设备的第二应用程序的预先设定的时长,或为第二用户在第二应用程序中自定义设置的时长。
[0146] 需要说明的是,第三预设时长大于第二预设时长,即在第二设备更新显示该每个预设区域中的标识之后,第二设备能够有足够的时间以判断第二用户的视线是否在第二预设时长之内始终朝着第二设备的屏幕。
[0147] 可选的,上述“更新显示该每个预设区域中的标识”包括以下两种情况:
[0148] (1)如果与M个设备对应的M个标识可以全部显示在N个预设区域,那么每隔第三预设时长,第二设备可以控制N个预设区域中的每个预设区域交换显示各个区域的标识。
[0149] (2)如果与M个设备对应的M个标识无法全部显示在N个预设区域,即N个预设区域仅能显示该M个标识中的部分标识,那么每隔第三预设时长,N个预设区域可以刷新显示该M个标识中的另一部分标识,最终使得该M个标识依次在该N个预设区域中显示过。
[0150] 本申请实施例提供的信息交互方法,在N个预设区域中的每个预设区域显示至少一个标识的情况下,由于第二设备每隔第三预设时长,更新显示该每个预设区域中的标识,因此,第二用户可以通过对第二设备的屏幕中的预设区域更新显示的不同标识的观察,依次监控与该不同标识对应的用户的视线是否指向电子设备的屏幕,并保证视频通话质量。
[0151] 需要说明的是,本申请实施例对S501-S503、S504-S505的执行顺序不作限定。上述实施例是以S504-S505应用于实施例二为例进行说明的,可以理解的是,S504-S505也可以应用于实施例一,具体根据实际情况确定,本申请实施例不作限定。
[0152] 本申请实施例提供一种信息交互方法,应用于第二设备。该信息交互方法可以包括下述的S601和S602。
[0153] S601、在第一设备与第二设备处于视频通话状态的情况下,第二设备获取第二时长。
[0154] 其中,上述第二时长为第二用户的视线指向第二设备的屏幕中目标标识的时长,该目标标识为与使用第一设备的第一用户对应的标识。
[0155] S602、在该第二时长大于或等于第二预设时长的情况下,第二设备将目标标识由第一显示方式更新为第二显示方式,并向第一设备发送第三信息。
[0156] 其中,上述第三信息用于提示第一用户调整视线方向。
[0157] 可选的,本申请实施例提供的信息交互方法还可以包括下述的S603和S604。
[0158] S603、第二设备在N个预设区域中的每个预设区域显示至少一个标识。
[0159] 其中,一个标识与使用M个设备中的一个设备的用户一一对应。
[0160] S604、每隔第三预设时长,第二设备更新显示该每个预设区域中的标识。
[0161] 对于上述S601至S604的描述具体可以参见上述实施例中对S501至S505的相关描述,此处不再赘述。
[0162] 本申请实施例提供一种信息交互方法,在第一设备与第二设备处于视频通话状态的情况下,第二设备可以检测到使用第二设备的第二用户的视线指向第二设备的屏幕中目标标识,并获取第二用户的视线指向第二设备的屏幕中目标标识的第二时长。因此,在第二时长大于或等于第二预设时长的情况下,一方面,第二设备可以突出显示第一用户对应的目标标识,从而,第二用户可以更加关注与目标标识对应的第一用户是否集中注意力;另一方面,第二设备可以向第一设备发送第三信息,从而第一设备可以根据第三信息提醒第一用户及时调整视线方向。如此,增加了第一设备和第二设备的交互性能,提高了视频通话质量。
[0163] 本申请实施例提供一种信息交互方法,应用于第一设备。该信息交互方法可以包括下述的S701。
[0164] S701、第一设备接收第二设备发送的第三信息。
[0165] 对于上述S701的描述具体可以参见上述实施例中对S503的相关描述,此处不再赘述。
[0166] 本申请实施例提供的信息交互方法,由于第一设备可以接收到用于提示第一用户调整视线方向的第三信息,因此,在第一设备接收到该第三信息之后,第一设备可以通过该第三信息提醒与目标标识对应的第一用户及时调整视线方向,以提高了第一设备和第二设备之间的视频通话质量。
[0167] 需要说明的是,本申请实施例一和实施例二提供的信息交互方法,执行主体可以为信息交互装置,或者该信息交互装置中的用于执行加载信息交互方法的控制模块。
[0168] 如图6所示,本申请实施例提供一种信息交互装置60。该信息交互装置可以包括获取模块61、处理模块62和发送模块63。获取模块61,可以用于在第一设备与第二设备处于视频通话状态的情况下,获取第一时长,该第一时长为第一用户的视线偏离第一设备的屏幕的时长。处理模块62,可以用于在获取模块61获取的该第一时长大于或等于第一预设时长的情况下,输出第一信息,并控制发送模块63向第二设备发送第二信息。其中,该第一信息可以用于提示该第一用户调整视线方向,该第二信息可以用于指示第二设备将目标标识由第一显示方式更新为第二显示方式,该目标标识为与该第一用户对应的标识。
[0169] 可选的,处理模块62,还可以用于在输出第一信息之后,若检测到第一用户的视线指向第一设备的屏幕,则停止输出该第一信息;或者,若检测到第一用户的视线一直偏离第一设备的屏幕,则持续输出该第一信息。
[0170] 可选的,发送模块63,可以用于若检测到第一用户的视线指向第一设备的屏幕,则向第二设备发送目标信息,该目标信息用于指示第二设备将目标标识由第二显示方式更新为第一显示方式。
[0171] 本申请实施例提供的信息交互装置能够实现图2至图4的方法实施例中第一设备实现的各个过程,该信息交互装置可以为第一设备或第一设备中的功能模块,为避免重复,这里不再赘述。
[0172] 本申请实施例提供一种信息交互装置,在第一设备和第二设备进行视频通话的过程中,第一设备可以检测到使用第一设备的第一用户的视线偏离第一设备的屏幕,并获取第一用户的视线偏离第一设备的屏幕的第一时长。因此,在第一时长大于或等于第一预设时长的情况下,一方面,第一设备可以输出第一信息,从而第一用户可以根据第一信息调整视线方向,即第一用户重新将注意力集中在第一设备的屏幕上;另一方面,第一设备可以向第二设备发送第二信息,从而第二设备可以突出显示第一用户对应的目标标识,进而,使用第二设备的第二用户可以提醒第一用户重新将注意力集中在第一设备的屏幕上。如此,增强了第一设备和第二设备的交互性能,从而提高了视频通话的质量(例如,提高直播教学质量)。
[0173] 如图7所示,本申请实施例提供一种信息交互装置70。该信息交互装置可以包括获取模块71、显示模块72和发送模块73。获取模块71,可以用于在第一设备与第二设备处于视频通话状态的情况下,获取第二时长,该第二时长为第二用户的视线指向第二设备的屏幕中目标标识的时长,该目标标识为与使用第一设备的第一用户对应的标识。显示模块72,可以用于在获取模块71获取的该第二时长大于或等于第二预设时长的情况下,将该目标标识由第一显示方式更新为第二显示方式。发送模块73,在该第二时长大于或等于第二预设时长的情况下,向第一设备发送第三信息。其中,该第三信息用于提示该第一用户调整视线方向。
[0174] 可选的,第二设备与M个设备处于视频通话状态,M个设备包括第一设备。第二设备的屏幕包括N个预设区域;M和N为正整数,且M大于N。显示模块72,还可以用于在该N个预设区域中的每个预设区域显示至少一个标识,一个标识与使用M个设备中的一个设备的用户一一对应;以及每隔第三预设时长,更新显示该每个预设区域中的标识。
[0175] 本申请实施例二提供的信息交互装置能够实现图5的方法实施例中第二设备实现的各个过程,该信息交互装置可以为第二设备或第二设备中的功能模块,为避免重复,这里不再赘述。
[0176] 本申请实施例提供一种信息交互装置,在第一设备与第二设备处于视频通话状态的情况下,第二设备可以检测到使用第二设备的第二用户的视线指向第二设备的屏幕中目标标识,并获取第二用户的视线指向第二设备的屏幕中目标标识的第二时长。因此,在第二时长大于或等于第二预设时长的情况下,一方面,第二设备可以突出显示第一用户对应的目标标识,从而,第二用户可以更加关注与目标标识对应的第一用户是否集中注意力;另一方面,第二设备可以向第一设备发送第三信息,从而第一设备可以根据第三信息提醒第一用户及时调整视线方向。如此,增加了第一设备和第二设备的交互性能,提高了视频通话质量。
[0177] 本申请实施例一和实施例二中的信息交互装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(network attached storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
[0178] 本申请实施例中的信息交互装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
[0179] 可选的,本申请实施例还提供一种电子设备,包括如图8所示的处理器100,存储器109,存储在存储器109上并可在处理器110上运行的程序或指令,该程序或指令被处理器
110执行时实现上述信息交互方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0180] 需要注意的是,本申请实施例中的电子设备包括上述移动电子设备和非移动电子设备。
[0181] 图8为实现本申请实施例的一种电子设备的硬件结构示意图。
[0182] 该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。其中,输入单元104可以包括图形处理器和麦克风,用户输入单元107可以包括触控面板和其他输入设备,显示单元106可以包括显示面板,存储器109可以包括应用程序和操作系统。
[0183] 本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
[0184] 第一种方式为
[0185] 处理器110,用于在第一设备与第二设备处于视频通话状态的情况下,获取第一时长,该第一时长为第一用户的视线偏离第一设备的屏幕的时长;在该第一时长大于或等于第一预设时长的情况下,输出第一信息,并向第二设备发送第二信息。其中,该第一信息用于提示该第一用户调整视线方向,该第二信息用于指示第二设备将目标标识由第一显示方式更新为第二显示方式,该目标标识为与该第一用户对应的标识。
[0186] 可选的,处理器110,还用于若检测到第一用户的视线指向第一设备的屏幕,则停止输出第一信息;或者,若检测到第一用户的视线一直偏离第一设备的屏幕,则持续输出第一信息。
[0187] 可选的,处理器110,还用于若检测到第一用户的视线指向第一设备的屏幕,则向第二设备发送目标信息,该目标信息用于指示第二设备将目标标识由第二显示方式更新为第一显示方式。
[0188] 本申请实施例提供一种电子设备,在第一设备和第二设备进行视频通话的过程中,第一设备可以检测到使用第一设备的第一用户的视线偏离第一设备的屏幕,并获取第一用户的视线偏离第一设备的屏幕的第一时长。因此,在第一时长大于或等于第一预设时长的情况下,一方面,第一设备可以输出第一信息,从而第一用户可以根据第一信息调整视线方向,即第一用户重新将注意力集中在第一设备的屏幕上;另一方面,第一设备可以向第二设备发送第二信息,从而第二设备可以突出显示第一用户对应的目标标识,进而,使用第二设备的第二用户可以提醒第一用户重新将注意力集中在第一设备的屏幕上。如此,增强了第一设备和第二设备的交互性能,从而提高了视频通话的质量(例如,提高直播教学质量)。
[0189] 第二种方式为
[0190] 处理器110,用于在第一设备与第二设备处于视频通话状态的情况下,获取第二时长,该第二时长为第二用户的视线指向第二设备的屏幕中目标标识的时长,该目标标识为与使用第一设备的第一用户对应的标识;以及在该第二时长大于或等于第二预设时长的情况下,将该目标标识由第一显示方式更新为第二显示方式,并向第一设备发送第三信息。其中,该第三信息用于提示第一用户调整视线方向。
[0191] 可选的,第二设备与M个设备处于视频通话状态,M个设备包括第一设备。第二设备的屏幕包括N个预设区域,M和N为正整数,且M大于N。处理器110,还用于在该N个预设区域中的每个预设区域显示至少一个标识,一个标识与使用M个设备中的一个设备的用户一一对应;以及每隔第三预设时长,更新显示该每个预设区域中的标识。
[0192] 本申请实施例提供一种电子设备,在第一设备与第二设备处于视频通话状态的情况下,第二设备可以检测到使用第二设备的第二用户的视线指向第二设备的屏幕中目标标识,并获取第二用户的视线指向第二设备的屏幕中目标标识的第二时长。因此,在第二时长大于或等于第二预设时长的情况下,一方面,第二设备可以突出显示第一用户对应的目标标识,从而,第二用户可以更加关注与目标标识对应的第一用户是否集中注意力;另一方面,第二设备可以向第一设备发送第三信息,从而第一设备可以根据第三信息提醒第一用户及时调整视线方向。如此,增加了第一设备和第二设备的交互性能,提高了视频通话质量。
[0193] 本申请实施例还提供一种可读存储介质,该可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述信息交互方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0194] 其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,如计算机只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等。
[0195] 本申请实施例另提供了一种芯片,该芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述信息交互方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0196] 应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0197] 需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
[0198] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例中的方法。
[0199] 上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。