技术领域
[0001] 本发明涉及数据采集技术领域，具体涉及一种无线视频会议跟踪系统。
相关背景技术
[0002] 随着网络技术的发展，用户为了提高工作效率使用无线视频会议场景次数也越来越多，然而，在进行无线视频会议过程中，可能会存在主讲人较大走动而由于拍摄设备固定跟拍不及时，导致无线视频会议中收音效率降低、主讲人的画面传输不完整，进而使参会人员的参会体验感变差。
具体实施方式
[0045] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046] 本申请提供一种无线视频会议跟踪系统的应用场景可以是单个会议空间与多个无线终端之间的信息通讯，也可以是多个会议空间之间的使用无线网络进行信息通讯。为便于理解，本申请实施例中将以单个会议空间与多个无线终端之间的无线视频会议跟踪为例，结合无线视频会议跟踪系统进行说明。
[0047] 本申请提供的一种无线视频会议跟踪会议系统用于跟踪会议主讲人(目标对象)的姿态信息和语音信息，保证远程参会人员(通过无线终端参会的人员)能够始终获取会议主讲人主讲画面，以及主讲人的语音信息，以便于远程参会人员获得更好的参会感受，同时通过采集图像信息和音频信息进一步保证图像信息的完整性以及提高采集音频信息的准确性。
[0048] 本申请提供的一种无线视频会议跟踪系统，如图1所示，该无线视频会议跟踪系统包括：采集装置10、第一确定装置11、第二确定装置12及调整装置13。其中，采集装置10、第一确定装置11、第二确定装置12及调整装置13之间进行通信连接，通信方式可以是无线、WiFi、蓝牙。
[0049] 采集装置10用于采集会议空间内的图像信息和音频信息。
[0050] 在本实施例中，在会议空间内设置有多个采集装置10，且每个采集装置10放置的位置不重叠。
[0051] 第一确定装置11，用于根据音频信息中的声音强度确定出与声音强度对应的图像信息中的目标对象。
[0052] 第二确定装置12，用于确定目标对象在会议空间内的空间姿态信息。
[0053] 调整装置13，用于根据空间姿态信息的实时变化，调整获取会议空间内的图像信息的图像采集范围和音频信息采集方向。
[0054] 在本实施例中，第一确定装置11、第二确定装置12及调整装置13，可以是用于处理不同信息的处理器，例如：与第一确定装置11对应的处理器用于处理音频信息，并对声音强度进行判断以确定出与声音强度对应的图像信息中的目标对象。
[0055] 在本实施例中，音频信息中的声音强度包括目标对象的声压信息；也包括除目标对象以外的声压信息，因此需要对声压信息排序以确定目标对象。
[0056] 本申请提供的无线视频会议跟踪系统，通过设置采集装置10对会议空间内的图像信息和音频信息进行采集，其次由第一确定装置11和第二装置确定出空间姿态信息和声音强度信息，之后通过调整装置13对空间姿态信息和声音强度信息进行调整，以保证采集装置10所采集的图像信息的完整性以及提高音频采集的准确性，从而提高参会人员感受。
[0057] 可选的，第一确定装置11还包括：降噪模块，用于过滤环境噪音。
[0058] 在本实施例中，由于会议空间中存在噪音，因此，需要设置降噪模块将除人声以外的声音进行滤除，以避免远程参会人员因噪音影响，体验感下降。
[0059] 本申请提供的一种无线视频会议跟踪系统，如图2所示，该无线视频会议跟踪系统中的采集装置10包括：
[0060] 设置于会议空间内的至少一个图像采集模块101、至少一个拾音模块102及存储模块103。
[0061] 图像采集模块101，用于采集会议空间内的图像信息，将会议空间内的图像信息发送至存储模块103。
[0062] 拾音模块102，用于采集会议空间内的音频信息，将会议空间内的音频信息发送至存储模块103。
[0063] 存储模块103，用于对获取图像信息和音频信息进行存储。
[0064] 在本实施例中，图像采集模块101可以是摄像机，拾音模块102可以是拾音器。图像采集模块101和拾音模块102设置在会议空间的不同方位，例如：会议空间的五个方位，即东南西北中。当会议空间内有目标对象发起会议，多个无线终端设备接入该会议。离目标对象最近的图像采集模块101，对目标对象进行采集；离目标对象最近的拾音模块102，对目标对象的音频进行采集，之后图像采集模块101和拾音模块102将所采集的图像信息和音频信息发送至存储模块103中进行存储，当需要提取相应的图像信息或音频信息时，可以从存储器中金提取。
[0065] 本申请提供的无线视频会议跟踪系统，通过设置图像采集模块101、拾音模块102实现对会议空间的会议信息进行采集，之后将会议信息送入存储进行存储，当有需要时可以随之提取，从而保证了数据提取的灵活性。
[0066] 本申请提供的一种无线视频会议跟踪系统，如图3所示，该无线视频会议跟踪系统中的第一确定装置11包括：
[0067] 目标检测模块111，用于检测出会议空间内图像信息中存在单个采集对象。
[0068] 在本实施例中，可以使用设置有目标检测算法的控制器对会议空间内图像信息进行采集并进行目标检测。优选的，目标检测算法可以是Fast R‑CNN目标检测算法，该目标检测算法基于区域提取的思想，通过先选出一些候选框，再对这些候选框进行分类和回归，来实现目标检测，可以检测出单个采集对象或者多个采集对象。
[0069] 音频提取模块112，用于提取音频信息中存在的单个声音强度。
[0070] 映射模块113，用于将单个采集对象与单个声音强度进行映射，得到目标映射组。
[0071] 第一确定模块114，用于将目标映射组中声音强度对应的采集对象确定为目标对象。
[0072] 在本实施例中，当会议空间内仅有一个目标对象时，可以使用目标检测模块111中的目标检测算法对会议空间内的图像信息进行目标检测，以确定出会议空间中所存在的采集对象，其次使用音频提取模块112，提取音频信息中的声音强度，之后在确定的单个采集对象以及声音强度后进行映射，将该音频信息确定为采集对象发出的声音信息，最后将完成映射的采集对象确定为目标对象，在本实施例中目标对象可以理解为会议主讲人。
[0073] 可选的，第一确定装置11还可以包括：
[0074] 目标检测模块111，用于检测出会议空间内的图像信息中存在的至少一个采集对象。
[0075] 音频提取模块112，用于提取音频信息中存在的至少一个声音强度。
[0076] 映射模块113，用于将至少一个声音强度与至少一个采集对象的所处位置进行时空映射，确定出至少一组采集对象与声音强度对应的至少一组目标映射组。
[0077] 排序模块，用于根据声音强度对至少一组目标映射组进行排序得到声音强度排序表，从声音强度排序表中提取第一声音强度。
[0078] 第一确定模块114，用于将第一声音强度对应的采集对象确定为目标对象。
[0079] 在本实施例中，由于目标检测模块111在图像信息中检测到的是多个采集对象，为了进一步确定出目标对象，还需要将采集对象与声音强度进行对应，具体的，可以通过图像信息确定采集对象的具体位置，利用图像信息推算出拾音器的具体位置，根据采集对象的具体位置、拾音器的具体位置以及声音强度确定出采集对象对应的声音强度，之后对采集对应的声音强度进行排序，将第一声音强度对应的采集对象确定为目标对象。
[0080] 可选的，目标检测模块111包括：预处理子模块，用于突出会议空间内图像信息中的采集对象的边缘信息。
[0081] 本申请提供的无线视频会议跟踪系统，为了能够快速提取采集对象，在使用目标检测模块111前需要使用预处理子模块对会议空间内的图像信息进行预处理操作，其中，预处理操作可以是提高图像信息中的对比度、亮度及清晰度，以便于后续能够快速从会议空间中提取采集对象。
[0082] 本申请提供的一种无线视频会议跟踪系统，如图4所示，该无线视频会议跟踪系统中的第二确定装置12包括：
[0083] 姿态检测模块121，用于对目标对象进行姿态检测，以确定出目标对象在会议空间内的空间姿态信息。
[0084] 在本实施例中，可以通过姿态检测模块121中的姿态检测算法是对目标对象进行姿态检测，已确定目标对象处于会议画面中。当姿态检测模块121无法检测到目标对象的姿态时，则说明目标对象已经移出会议画面，此时需要图像采集设备重新确定目标对象；当姿态检测模块121检测到目标对象的姿态后，则说明目标对象未移出会议画面，继续使图像采集设备对目标对象进行图像采集。优选的，姿态检测算法可以是OpenPose人体姿态检测算法，它采用了卷积神经网络(CNN)来进行人体关键点检测，在网络中使用了残差连接和特征金字塔等技术来提高检测精度。具体来说，OpenPose人体姿态检测算法将输入的图像分别送入不同层级的网络中进行处理，以提取不同尺度的特征信息。然后利用这些特征信息在每个像素点上预测出人体关键点的位置坐标，最终得到全局的关键点分布；在关键点检测完成后，OpenPose人体姿态检测算法还会对关键点进行匹配和姿态估计。它通过先前的训练模型和深度学习技术，对检测出来的关键点进行匹配，即将这些关键点按照一定规则划分成一个个人体，并对每个人体进行姿态估计。在姿态估计的过程中，OpenPose人体姿态检测算法会利用先前训练好的模型，针对各个关键点之间的关系，推断出人体的姿态信息；最终，OpenPose人体姿态检测算法将关键点和姿态信息转化为人体骨架模型，并输出到会议画面中，从而实现对目标对象的姿态检测。
[0085] 可选的，第二确定装置12还可以包括：
[0086] 姿态检测模块121，用于对目标对象进行姿态检测，以确定出目标对象的当前姿态信息；
[0087] 对比模块122，用于获取目标对象的当前姿态信息，将目标对象的当前姿态信息与预设姿态集合中的预设姿态进行匹配，当当前姿态信息与预设姿态集合中的预设姿态匹配成功，将当前姿态信息确定为目标对象在会议空间内的空间姿态信息。
[0088] 本申请提供的一种无线视频会议跟踪系统，如图5所示，该无线视频会议跟踪系统中的调整装置13包括：
[0089] 获取模块131，用于获取上一时刻的空间姿态信息和当前时刻的空间姿态信息。
[0090] 比较模块132，用于比较上一时刻的空间姿态信息和当前时刻的空间姿态信息是否存在空间姿态信息的实时变化；若上一时刻的空间姿态信息和当前时刻的空间姿态信息存在空间姿态信息的实时变化，则需要调整获取会议空间内图像信息的图像采集范围和音频信息采集方向。
[0091] 图像调整模块133，用于根据空间姿态信息的实时变化，使目标对象实时处于图像中心。
[0092] 音频调整模块134，用于根据空间姿态信息的实时变化，选择性开启或关闭拾音模块102。
[0093] 在本实施例中，通过获取模块131获取上一时刻的空间姿态信息和当前时刻的空间姿态信息，将上一时刻的空间姿态信息和当前时刻的空间姿态信息送入比较模块132中进行比较，当比较模块132确定空间姿态信息产生变化时，则说明目标对象存在移动的情况，此时需要通过图像调整模块133和音频调整模块134捕捉目标对象，以保证目标对象实时处于会议中心，音频强度实时保持最大状态。
[0094] 本申请提供的无线视频会议跟踪系统，通过设置采集装置10对会议空间内的图像信息和音频信息进行采集，其次由第一确定装置11和第二装置确定出空间姿态信息和声音强度信息，之后通过调整装置13对空间姿态信息和声音强度信息进行调整，以保证采集装置10能够实时对目标对象的图像及音频信息进行采集，进一步保证了目标对象的图像信息的完整性和提高音频采集的准确性，更近一步提高参会人员参会感受。
[0095] 本发明实施例还提供了一种无线视频会议跟踪系统，如图6所示，该无线视频会议跟踪系统可以包括处理器61和存储器62，其中处理器61和存储器62可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0096] 处理器61可以为中央处理器(Central Processing Unit，CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0097] 存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的无线视频会议跟踪系统提供的模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。
[0098] 存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器61所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0099] 上述无线视频会议跟踪系统具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0100] 虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
