技术领域
[0001] 本发明涉及图像数据处理领域，特别是涉及一种图像处理方法和装置。
相关背景技术
[0002] 传统的视频会议系统在共享PPT时，往往无法同时清晰展示PPT内容和主讲人视频，限制了会议的互动性和效率。
具体实施方式
[0043] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044] 参照图1，示出了本发明一实施例提供的一种图像处理方法的步骤流程图，应用于第一会议终端，具体可以包括如下步骤：
[0045] 步骤S101，第一会议终端接收第一网络会议中用于调流的第一服务器转发的用于将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的画面叠加指令，画面叠加指令为控会终端的第一控会操作生成；
[0046] 在实际应用中，第一会议终端可以为当前的发言终端或者可以获取发言人图像数据和会议中的视频图像数据的非发言终端。
[0047] 在第一网络会议中，控会终端可以用于对第一网络会议进行会议控制，会议控制内容包括开启会议、停止会议、中断会议、发言人切换等，在本发明实施例中，控会终端还可以控制开启或关闭画面叠加。
[0048] 第一服务器可以与控会终端连接，第一服务器还可以与一个多个会议终端连接，控会终端的控会指令可以发送至第一服务器，由第一服务器根据控会指令进行多个会议终端之间的视频流调度。
[0049] 在本发明实施例中，控会终端的控会人员进行第一控会操作，以开启第一网络会议中画面叠加功能，画面叠加功能可以使会议终终端呈现会议视频数据和发言人图像数据的叠加画面。从而，在会议终端界面上可以同时观看会议视频数据和发言人图像数据。
[0050] 在控会终端响应第一控会操作可以生成画面叠加指令，进而将画面叠加指令发送至第一服务器，第一服务器可以将画面叠加指令发送至第一网络会议中的各会议终端，各会议终端包括第一会议终端，以使各会议终端确定开启画面叠加功能。
[0051] 其中，第一网络为视联网网络，第一网络会议为视联网会议，控会终端可以为帕米尔控会终端，第一服务器可以为视联网中的综管服务器，第一会议终端可以为视联网中的视联网会议终端。
[0052] 步骤S102，第一会议终端基于画面叠加指令，获取第一网络会议中的视频图像数据和发言人图像数据；
[0053] 其中，视频图像数据为第一网络会议中共享的视频数据，如发言人实时共享的PPT数据，发言人图像数据为针对发言人采集的图像数据，可以包含当前发言人的人脸图像。在实际应用中，发言人图像数据可以为第一网络会议中的采集设备采集得到，采集设备可以为会场中摄像头设备。
[0054] 第一会议终端在接收画面叠加指令后，可以开启画面叠加功能，进而获取相关的图像数据，如视频图像数据和发言人图像数据。
[0055] 当第一会议终端为目标发言终端时，视频图像数据可以为第一会议终端待共享的视频图像数据，发言人图像数据为与第一会议终端连接的图像采集设备这针对第一会议终端的发言人采集的图像数据，第一会议终端可以从该采集设备中获取发言人图像数据。
[0056] 当第一会议终端非目标发言终端时，视频图像数据和发言人图像数据为第一服务器从目标发言终端转发至第一会议终端。
[0057] 在本发明一实施例中，当第一会议终端为目标发言终端时，基于画面叠加指令，开启辅流跟随，以同步视频图像数据和发言人图像数据。
[0058] 在实际应用中，当第一会议终端为目标发言终端时，在接收到画面叠加指令的同时可以开启辅流跟随，从而，视频图像数据可以与发言人图像数据同步，以便于生成同步的叠加画面，优化参会人员的视觉体验。
[0059] 步骤S103，第一会议终端基于视频图像数据和发言人图像数据进行融合，生成叠加图像数据；
[0060] 在第一会议终中可以基于自身的图像处理技术进行视频图像数据和发言人图像数据融合。
[0061] 在本发明一实施中，第一会议终端基于视频图像数据和发言人图像数据进行融合，生成叠加图像数据，包括：第一会议终端将视频图像数据和发言人图像数据发送至用于进行图像融合的第二服务器，以使第二服务器将视频图像数据和发言人图像数据进行融合，生成叠加图像数据；接收第二服务器发送的叠加图像数据。
[0062] 在实际应用中，第一会议终端可以与第三方图像处理的第二服务器连接，从而可以将视频图像数据和发言人图像数据发送第二服务器进行图像融合处理。
[0063] 在一示例中，第二服务器可以为第二网络中的图像处理服务器，第二网络可以为非视联网网络，如互联网网络。
[0064] 例如，视频会议终端可以将PPT视频和主讲人视频实时采集并编码后，通过网络发送给第二服务器。第二服务器接收视频流后，首先进行解码，然后通过图像处理服务器对两个视频流进行频叠处理。将提取出的人像区域与PPT视频画面进行融合，形成频叠视频画面(即叠加图像数据)。其中，融合过程中，还可调整人像窗口的位置、大小和透明度等参数，以满足不同会议场景的需求。
[0065] 第二服务器可以将处理后的频叠视频画面重新编码，并发送第一会议终端，进而第一会议终端可以通过第一服务器转发给所有参会者的显示设备。所以参会方都可以看到发言人画面和PPT叠加画面。
[0066] 在本发明一实施例中，第一会议终端响应针对叠加图像数据的图像参数调整操作，依照图像参数调整操作对叠加图像数据的图像参数进行调整。
[0067] 其中，叠加图像数据的图像参数可以包括人像窗口的位置、大小和透明度等图像参数。
[0068] 在实际应用中，第一会议终端的用户可以针对生成叠加图像数据进行调整，以优化叠加图像数据，具体的，可以针对叠加图像数据执行图像参数调整操作，进而，依照图像参数调整操作对叠加图像数据的图像参数进行调整，以增强互动性和个性化体验[0069] 步骤S104，第一会议终端将叠加图像数据发送至第一服务器，以由第一服务器转发至第一网络会议中的第二会议终端。
[0070] 第一会议终端将生成叠加图像数据发送至第一服务器，进而第一服务器发送至第一网络会议中的一个或多个第二会议终端，以使第二会议可以呈现叠加图像数据。
[0071] 在本发明一实施例中，第一会议终端接收第一服务器转发的用于关闭叠加图像数据的关闭指令；依照关闭指令，停止视频图像数据和发言人图像数据的融合过程。
[0072] 在实际应用中，当控会终端的控会人员执行第二控制指令，控会终端响应该第二控会指令，生成用于关闭叠加图像数据的关闭指令，该关闭指令用于关闭会议终端的画面叠加功能，恢复正常的视频图像数据显示。
[0073] 控会终端在生成关闭指令后，可以将关闭指令发送至第一服务器，第一服务器下发至其连接的一个或多个会议终端，包括第一会议终端，进而第一会议终端可以依照关闭指令，停止当前正在进行或即将执行的视频图像数据和发言人图像数据的融合过程。
[0074] 在本发明实施例中，第一会议终端接收第一网络会议中用于调流的第一服务器转发的用于将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的画面叠加指令，画面叠加指令为控会终端的第一控会操作生成；基于画面叠加指令，获取第一网络会议中的视频图像数据和发言人图像数据；基于视频图像数据和发言人图像数据进行融合，生成叠加图像数据；将叠加图像数据发送至第一服务器，以由第一服务器转发至第一网络会议中的第二会议终端，从而可以实现将视频图像数据和发言人图像数据进行融合，提高视频会议的视觉效果和互动性，简化操作流程，提高会议效率适用于多种视频会议场景。
[0075] 参照图2，示出了本发明一实施例提供的另一种图像处理方法的步骤流程图，应用于控会终端，具体可以包括如下步骤：
[0076] 步骤S201，控会终端响应于第一网络会议终端中用于发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的第一控会操作，生成用于将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的画面叠加指令；
[0077] 在实际应用中，控会人员在控会终端上执行第一控会操作以使会议终端开启画面叠加功能，控会终端可以限于第一控会操作生成画面叠加指令，画面叠加执行用于控制会议终端将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示。
[0078] 步骤S202，控会终端将画面叠加指令发送至第一服务器，以使第一服务器将画面叠加指令转发至第一网络会议中的第一会议终端，第一会议终端用于基于画面叠加指令，获取第一网络会议中的视频图像数据和发言人图像数据；第一会议终端基于视频图像数据和发言人图像数据进行融合，生成叠加图像数据，第一会议终端将叠加图像数据发送至第一服务器。
[0079] 控会终端可以将生成的画面叠加指令发送至第一服务器，进而第一服务器可以将画面叠加指令转发至第一会议终端，第一会议终端执行画面叠加指令，获取视频图像数据和发言人图像数据，并实现视频图像数据和发言人图像数据的融合处理，得到叠加图像数据，进而将叠加图像数据反馈至第一服务器。由第一服务器分发至第一网络会议中的第二会议终端。进而在第一网络会议终端的会议终端可以呈现叠加图像数据。
[0080] 在本发明一实施例中，控会终端响应于第一网络会议中用于关闭叠加图像数据的第二控会操作，生成关闭指令；控会终端将关闭指令发送至第一服务器，以由第一服务器转发至第一会议终端。
[0081] 在本发明一实施例中，控会终端响应于第一网络会议终端中切换发言人的第三控会操作，生成发言人切换指令；将发言人切换指令发送至第一服务器，以使第一服务器将第一网络会议中的当前发言人切换为发言人切换指令对应的发言人。
[0082] 在实际应用中，控会人员可以在控会终端行上发言人切换，生成发言人切换指令。
[0083] 在另一示例中，在第一网络会议过程中可以通过控会终端开启画面轮询，具体的，可以在控会终端中选择要发言的初始会议终端，设置轮询时间间隔和轮询模式(正向轮询，反向轮询)，进而开启画面轮询，控会终端可以根据轮询间隔和轮询模式生成发言人切换指令，并将发言人切换指令推送至第一服务器，以使第一服务器执行发言人切换指令切换当前发言人。
[0084] 当控会终端结束画面轮询时，则停止向第一服务器发送发言人切换指令。
[0085] 在本发明实施例中，控会终端响应于第一网络会议终端中用于发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的第一控会操作，生成用于将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的画面叠加指令；控会终端将画面叠加指令发送至第一服务器，以使第一服务器将画面叠加指令转发至第一网络会议中的第一会议终端，第一会议终端用于基于画面叠加指令，获取第一网络会议中的视频图像数据和发言人图像数据；基于视频图像数据和发言人图像数据进行融合，生成叠加图像数据，将叠加图像数据发送至第一服务器，从而可以实现将视频图像数据和发言人图像数据进行融合，提高视频会议的视觉效果和互动性，简化操作流程，提高会议效率适用于多种视频会议场景。
[0086] 在本发明实施例中，控会终端响应于第一网络会议终端中用于发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的第一控会操作，生成用于将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的画面叠加指令；控会终端将画面叠加指令发送至第一服务器，以使第一服务器将画面叠加指令转发至第一网络会议中的第一会议终端，第一会议终端用于基于画面叠加指令，获取第一网络会议中的视频图像数据和发言人图像数据；基于视频图像数据和发言人图像数据进行融合，生成叠加图像数据，将叠加图像数据发送至第一服务器，从而可以实现将视频图像数据和发言人图像数据进行融合，提高视频会议的视觉效果和互动性，简化操作流程，提高会议效率适用于多种视频会议场景。
[0087] 需要说明的是，对于方法实施例，为了简单描述，故将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0088] 参照图3，示出了本发明一实施例提供的一种图像处理装置的结构示意图，具体可以包括如下模块：
[0089] 画面叠加指令接收模块301，用于接收第一网络会议中用于调流的第一服务器转发的用于将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的画面叠加指令，所述画面叠加指令为控会终端的第一控会操作生成；
[0090] 图像数据获取模块302，用于基于所述画面叠加指令，获取所述第一网络会议中的视频图像数据和发言人图像数据；
[0091] 图像融合模块303，用于所述第一会议终端基于所述视频图像数据和所述发言人图像数据进行融合，生成叠加图像数据；
[0092] 叠加图像发送模块304，用于将所述叠加图像数据发送至所述第一服务器，以由所述第一服务器转发至所述第一网络会议中的第二会议终端。
[0093] 在本发明一实施例中，所述图像融合模块303可以包括：
[0094] 图像转发处理子模块，用于将所述视频图像数据和所述发言人图像数据发送至用于进行图像融合的第二服务器，以使所述第二服务器将所述视频图像数据和所述发言人图像数据进行融合，生成叠加图像数据；
[0095] 叠加图像数据接收子模块，用于接收所述第二服务器发送的叠加图像数据。
[0096] 在本发明一实施例中，所述装置还包括：
[0097] 图像参数调整模块，用于响应针对所述叠加图像数据的图像参数调整操作，依照所述图像参数调整操作对所述叠加图像数据的图像参数进行调整。
[0098] 在本发明一实施例中，所述装置还包括：
[0099] 关闭指令生成模块，用于所述第一会议终端接收所述第一服务器转发的用于关闭叠加图像数据的关闭指令；
[0100] 停止融合模块，用于依照所述关闭指令，停止所述视频图像数据和所述发言人图像数据的融合过程。
[0101] 在本发明一实施例中，所述装置还包括：
[0102] 辅流跟随开启模块，用于当所述第一会议终端为目标发言终端时，基于所述画面叠加指令，开启辅流跟随，以同步所述视频图像数据和所述发言人图像数据。
[0103] 在本发明实施例中，第一会议终端接收第一网络会议中用于调流的第一服务器转发的用于将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的画面叠加指令，画面叠加指令为控会终端的第一控会操作生成；基于画面叠加指令，获取第一网络会议中的视频图像数据和发言人图像数据；基于视频图像数据和发言人图像数据进行融合，生成叠加图像数据；将叠加图像数据发送至第一服务器，以由第一服务器转发至第一网络会议中的第二会议终端，从而可以实现将视频图像数据和发言人图像数据进行融合，提高视频会议的视觉效果和互动性，简化操作流程，提高会议效率适用于多种视频会议场景。
[0104] 参照图4，示出了本发明一实施例提供的一种图像叠加装置的结构示意图，具体可以包括如下模块：
[0105] 画面叠加指令生成模块401，用于响应于第一网络会议终端中用于发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的第一控会操作，生成用于将发言人会议终端的视频图像数据和发言人图像数据进行叠加显示的画面叠加指令；
[0106] 画面叠加指令发送模块402，用于将所述画面叠加指令发送至第一服务器，以使所述第一服务器将画面叠加指令转发至所述第一网络会议中的第一会议终端，所述第一会议终端用于基于所述画面叠加指令，获取所述第一网络会议中的视频图像数据和发言人图像数据；所述第一会议终端基于所述视频图像数据和所述发言人图像数据进行融合，生成叠加图像数据，所述第一会议终端将所述叠加图像数据发送至所述第一服务器[0107] 在本发明一实施例中，所述装置还包括：
[0108] 关闭指令生成模块，用于所述控会终端响应于所述第一网络会议中用于关闭叠加图像数据的第二控会操作，生成关闭指令；
[0109] 关闭指令发送模块，用于所述控会终端将所述关闭指令发送至第一服务器，以由所述第一服务器转发至第一会议终端。
[0110] 在本发明一实施例，所述装置还包括：
[0111] 发言人切换指令生成模块，用于所述控会终端响应于所述第一网络会议终端中切换发言人的第三控会操作，生成发言人切换指令；
[0112] 发言人切换模块，用于将所述发言人切换指令发送至所述第一服务器，以使所述第一服务器将所述第一网络会议中的当前发言人切换为所述发言人切换指令对应的发言人。
[0113] 本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上图像处理方法。
[0114] 本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上图像处理方法。
[0115] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0116] 本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0117] 本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。
[0118] 本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0119] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0120] 这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0121] 尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0122] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0123] 以上对所提供的一种图像处理方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
