[0001] 本实用新型涉及轨道交通相关技术领域，尤其涉及一种轨道交通视频分析控制盒和系统。

[0002] 轨道视频监控系统主要部署在车站、停车场、车辆段，将本线路的视频图像传输至地铁控制中心进行监控，已成为保障轨道交通行车组织安全，维护车站乘车秩序和乘客安全的重要手段。

[0003] 现有应用的轨道交通视频监控系统属于中心集中处理式架构，通过集中计算资源对监控对象进行分析处理，存在以下问题。在系统架构方面，海量视频数据均传输至计算中心处理，致使终端数据分析与响应产生时延性，可能会因系统反馈不及时而导致工作人员处置延迟。实用新型内容

[0004] 本实用新型实施例提供一种轨道交通视频分析控制盒和系统，用以解决海量视频数据均传输至计算中心处理，致使终端数据分析与响应产生时延性，可能会因系统反馈不及时而导致工作人员处置延迟的问题。

[0005] 第一方面，本实用新型实施例提供一种轨道交通视频分析控制盒，包括：壳体、智能核心板和智能载板；

[0006] 所述壳体是设置有第一通信接口；

[0007] 所述智能核心板和所述智能载板设置在所述壳体内部；

[0008] 所述智能核心板连接所述第一通信接口，获取视频信息和音频信息，基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果，并通过所述第一通信接口向中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景；

[0009] 所述智能载板连接所述智能核心板，用于对所述轨道交通视频分析控制盒进行保护，并获取识别结果和智能核心板的运行状态，基于所述识别结果和运行状态，进行告警。

[0010] 优选地，所述智能核心板包括：音视频信息解码模块、中央处理器和图形处理器；

[0011] 所述中央处理器分别连接所述音视频信息解码模块和所述图形处理器；

[0012] 所述音视频信息解码模块用于获取所述视频信息和音频信息，并对所述所述视频信息和音频信息进行解码，得到原始码流；

[0013] 所述中央处理器，用于对所述原始码流进行处理，得到视频信息和音频信息的高阶张量数据；

[0014] 所述图形处理器，用于将所述高阶张量数据输入预设的神经网络模型，得到初步输出低阶张量；

[0015] 所述中央处理器，用于对所述初步输出低阶张量进行聚类，得到基于时间戳的图像分类特征和音频分类特征，基于时间戳融合图像分类特征和音频分类特征，基于预设规则进行识别，得到识别结果；所述图像分类特征包括：视频乘客异常行为特征、车站异常环境特征、异常光线亮度特征和大客流特征；所述音频分类特征包括：声音异常音调特征、异常音色特征、异常响度特征、响度变化率特征和延迟时间特征。

[0016] 优选地，所述智能载板包括：微控制单元、无线通讯模块和保护装置；

[0017] 所述微控制单元与所述智能核心板通信连接，用于获取所述智能核心板的运行状态和过温状态，并基于所述运行状态和过温状态控制预设的风扇、报警单元；

[0018] 所述无线通讯模块用于将所述智能核心板的识别结果发送至移动站务终端；

[0019] 所述保护装置包括：过流保险装置、引脚静电保护装置、双向电压电平转换器。

[0020] 优选地，报警单元包括指示灯和发声单元。

[0021] 优选地，所述智能核心板和智能载板通过USB通信模块和/或UART通信模块进行通信连接。

[0022] 第二方面，本实用新型实施例提供一种轨道交通视频分析控制系统，包括：中心服务器、多组轨道视频监控系统；各组轨道视频监控系统包括：轨道视频监控装置、交换机和如本实用新型实施例提供的轨道交通视频分析控制盒；

[0023] 所述轨道视频监控装置，用于获取音频信息和视频信息，并发送至交换机；

[0024] 所述交换机将所述音频信息和视频信息发送至所述轨道交通视频分析控制盒；

[0025] 所述轨道交通视频分析控制盒，对所述音频信息和视频信息进行识别得到识别结果，并将所述识别结果发送至所述交换机；

[0026] 所述交换机将所述识别结果发送至所述中心服务器。

[0027] 优选地，所述轨道交通视频分析控制盒还用于，基于所述识别结果，向所述受控设备发送第一控制指令，以控制所述受控设备进行信息播报和事件处理。

[0028] 所述受控设备包括：站台门、自动扶梯、垂直电梯、闸机、广播设备和显示屏。

[0029] 优选地，还包括：移动站务终端；

[0030] 所述轨道交通视频分析控制盒还用于向所述移动站务终端发送识别结果。

[0031] 优选地，所述轨道视频监控系统还包括：人工控制台；

[0032] 所述人工控制台，用于供员工输入的控制指令，以控制所述轨道交通受控设备[0033] 所述轨道交通视频分析控制盒还用于向所述移动站务终端发送识别结果。

[0034] 优选地，所述轨道交通视频分析控制盒还用于获取员工反馈的人工标识；

[0035] 所述轨道交通视频分析控制盒，用于当所述人工标识为用于表征所述识别结果为突发事件的标识时，向所述受控设备发送第二控制指令，以控制所述受控设备进行信息播报和事件处理；当所述人工标识为用于表征所述识别结果错误的标识时，则记录错误的识别结果；

[0036] 其中，所述错误的识别结果和对应的人工标识用于对所述轨道交通视频分析控制盒内进行安防场景智能识别的模块进行重新训练。

[0037] 第三方面，本实用新型实施例提供一种轨道交通视频分析控制方法，包括：应用于轨道交通视频分析控制盒，所述轨道交通视频分析控制盒设置与轨道视频监控装置一一对应设置，所述轨道交通视频分析控制方法包括：

[0038] 获取视频信息和音频信息；

[0039] 基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果；

[0040] 通过向中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景。

[0041] 优选地，还包括：基于所述识别结果，向轨道交通视频分析控制系统中的受控设备发送控制指令，以控制所述受控设备进行信息播报和事件处理；其中，所述受控设备包括：站台门、自动扶梯、垂直电梯、闸机、广播设备和显示屏；

[0042] 向预设的移动站务终端发送识别结果。

[0043] 本实用新型实施例提供的轨道交通视频分析控制盒中，所述智能核心板连接所述第一通信接口，获取视频信息和音频信息，基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果，并通过所述第一通信接口向中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景；所述智能载板连接所述智能核心板，用于对所述轨道交通视频分析控制盒进行保护，并获取识别结果和智能核心板的运行状态，基于所述识别结果和运行状态，进行告警。如此，轨道交通视频分析控制盒可以直接在获取视频之后，直接进行安防场景智能识别，得到识别结果，避免向中心服务器发送视频信息和音频信息，减少数据传输的量，减少终端数据分析与响应产生时延性，避免因系统反馈不及时而导致工作人员处置延迟。

[0056] 为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

[0057] 轨道视频监控系统主要部署在车站、停车场、车辆段，将本线路的视频图像传输至地铁控制中心进行监控，已成为保障轨道交通行车组织安全，维护车站乘车秩序和乘客安全的重要手段。但是因轨道视频监控系统受本身架构和新技术应用不足所限，在进一步智能化升级优化时出现了一些问题，甚至对支撑轨道交通安全保障方面产生了一定程度的制约。

[0058] 现有应用的轨道交通视频监控系统属于中心集中处理式架构，通过集中计算资源对监控对象进行分析处理，存在以下问题。第一方面，在系统架构方面，海量视频数据均传输至计算中心处理，致使终端数据分析与响应产生时延性，当出现高风险级别如打架斗殴、拥挤踩踏、跌落轨道等事件时，可能会因系统反馈不及时而导致工作人员处置延迟。第二方面，在系统功能方面，传统的轨道交通视频监控系统由于前端摄像设备主要是采集和传输视频图像数据，边缘端设备智能分析能力较弱，一般不具备行为检测、大件物品遗留检测、站台乘降人数统计分析等功能，车站只能通过系统中心分析反馈和工作人员实现车站安全巡检，存在安全运营管理效率较低、管理不及时、灵活性差的问题。针对这一问题，本实用新型实施例提供了一种轨道交通视频分析控制盒。图1为本实用新型实施例提供的轨道交通视频分析控制盒的结构示意图，如图1所示，所述轨道交通视频分析控制盒，包括：壳体、智能核心板1和智能载板2；

[0059] 所述壳体是设置有第一通信接口；

[0060] 所述智能核心板1和所述智能载板2设置在所述壳体内部；

[0061] 所述智能核心板1连接所述第一通信接口，获取视频信息和音频信息，基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果，并通过所述第一通信接口向中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景；

[0062] 所述智能载板2连接所述智能核心板1，用于对所述轨道交通视频分析控制盒进行保护，并获取识别结果和智能核心板1的运行状态，基于所述识别结果和运行状态，进行告警。

[0063] 具体使用过程中，轨道交通视频分析控制盒通过第一通信接口连接交换机；通过第一通信接口获取轨道视频监控系统采集的视频信息和音频信息，直接对视频信息和音频信息进行安防场景智能识别，得到识别结果，之后通过交换机将识别结果发送至中心服务器，如此，轨道交通视频分析控制盒可以直接在获取视频之后，直接进行安防场景智能识别，得到识别结果，避免向中心服务器发送视频信息和音频信息，减少数据传输的量，减少终端数据分析与响应产生时延性，避免因系统反馈不及时而导致工作人员处置延迟。

[0064] 其中，所述智能核心板1包括：音视频信息解码模块11、中央处理器12和图形处理器13；

[0065] 所述中央处理器12分别连接所述音视频信息解码模块11和所述图形处理器13；

[0066] 具体的，所述中央处理器，用于对所述原始码流进行处理，得到视频信息和音频信息的高阶张量数据；

[0067] 所述图形处理器，用于将所述高阶张量数据输入预设的神经网络模型，得到初步输出低阶张量；

[0068] 所述中央处理器，用于对所述初步输出低阶张量进行聚类，得到基于时间戳的图像分类特征和音频分类特征；所述图像分类特征包括：视频乘客异常行为特征、车站异常环境特征、异常光线亮度特征和大客流特征；所述音频分类特征包括：声音异常音调特征、异常音色特征、异常响度特征、响度变化率特征和延迟时间特征；基于时间戳融合图像分类特征和音频分类特征，基于预设规则进行识别，得到识别结果；具体的：特征融合规则如下表：

[0069]

[0070] 如上表所示，基于时间戳融合图像分类特征和音频分类特征包括：乘客行为特征与声音音调特征的融合；乘客行为特征与声音音色特征的融合；乘客行为特征与声音响度的融合；乘客行为特征与响度变化率特征的融合；乘客行为特征与声音延迟时间的融合；车站环境特征与声音音调特征的融合；车站环境特征与声音音色特征的融合；车站环境特征与声音响度的融合；车站环境特征与响度变化率特征的融合；车站环境特征与声音延迟时间的融合；光线亮度特征与声音音调特征的融合；光线亮度特征与声音音色特征的融合；光线亮度特征与声音响度的融合；光线亮度特征与响度变化率特征的融合；光线亮度特征与声音延迟时间的融合；大客流特征与声音音调特征的融合；大客流特征与声音音色特征的融合；大客流特征与声音响度的融合；大客流特征与响度变化率特征的融合；大客流特征与声音延迟时间的融合；综上所述进行融合的数量为音频异常特征的数量与图像分类特征的数量的乘积。示例性的，若音频异常特征的数量为N，图像分类特征的数量为M，则共有N*M种融合。

[0071] 进一步的，也可以选取上述(N+M)种特征中的任意k种特征进行融合。例如参照上表N为5；M为4；k的取值为从2到(N+M)；例如k可以为3；当k取值为3时，进行融合的特征可以为上述共9个特征中任意三个特征。

[0072] 所述智能载板2包括：微控制单元21、无线通讯模块22和保护装置23；

[0073] 所述微控制单元21与所述智能核心板1通信连接，用于获取所述智能核心板1的运行状态和过温状态，并基于所述运行状态和过温状态控制预设的风扇、报警单元；

[0074] 所述无线通讯模块22用于将所述智能核心板1的识别结果发送至移动站务终端；

[0075] 所述保护装置23包括：过流保险装置、引脚静电保护装置、双向电压电平转换器。

[0076] 报警单元包括指示灯和发声单元。

[0077] 具体的，智能载板中微控制单元MCU采用带DSP和FPU的主流混合信号ARM Cortex‑M4处理器STM32F303CBT6系列作为开发平台，通过USB、UART与智能核心板进行通信，通过DMA‑UART模块接收智能核心板的指令，包括系统运行状态、过温状态等，MCU根据这些状态控制风扇、指示灯的颜色和声音报警，通过无线通讯模块(WTM)可将控制盒信息、视频场景报警信息发至移动站务终端；JWIS中，TPS25200DRVR电子保险，实现USB的过流保护；SP3012‑06UTG是ESD保护装置，保护每个引脚不被静电损坏；TXB0108PWR具有自动方向感应和+/‑15kV ESD保护的8位双向电压电平转换器，实现JWIC与JWIS之间的电平统一，保证了稳定可靠的通信。

[0078] 图2为本实用新型实施例提供的轨道交通视频分析控制系统的结构示意图；参照他2，一种轨道交通视频分析控制系统，包括：中心服务器3、多组轨道视频监控系统4；各组轨道视频监控系统4包括：轨道视频监控装置5、交换机6和如本实用新型实施例提供的轨道交通视频分析控制盒7；

[0079] 所述轨道视频监控装置5，用于获取音频信息和视频信息，并发送至交换机6；

[0080] 所述交换机6将所述音频信息和视频信息发送至所述轨道交通视频分析控制盒7；

[0081] 所述轨道交通视频分析控制盒7，对所述音频信息和视频信息进行识别得到识别结果，并将所述识别结果发送至所述交换机6；

[0082] 所述交换机6将所述识别结果发送至所述中心服务器。

[0083] 如此设置，各个通过在边缘端视频分析，避免了将大量视频数据传输至车站服务器进行集中分析，在靠近设备端即可实现视频分析，并可通过有线、无线多种方式进行信息传输，提高了轨道交通视频监控场景分析的实时性、智能性。通过在边缘端视频分析，降低了轨道交通视频监控系统使用视频分析服务器的建设及维护成本。通过在边缘端实现各类场景的智能视频分析，且通过视频和音频的特征融合，有助于提升轨道交通的安全保障能力、提高车站运营管理效率。

[0084] 具体的，所述轨道交通视频分析控制盒7还用于，基于所述识别结果，向所述受控设备发送第一控制指令，以控制所述受控设备进行信息播报和事件处理。

[0085] 所述受控设备包括：站台门、自动扶梯、垂直电梯、闸机、广播设备和显示屏。

[0086] 轨道交通视频分析控制系统，还包括：移动站务终端；

[0087] 所述轨道交通视频分析控制盒7还用于向所述移动站务终端发送识别结果。

[0088] 如此设置，可以使得相关工作人员及时获取轨道交通的状态，以便于及时进行处理。

[0089] 所述轨道视频监控系统4还包括：人工控制台；

[0090] 所述人工控制台，用于供员工输入的控制指令，以控制所述轨道交通受控设备[0091] 所述轨道交通视频分析控制盒7还用于向所述移动站务终端发送识别结果。

[0092] 需要说明的是，在实际使用中，系统可能存在误判，此时需要人工干预，本实用新型实施例提供的方案中，可以员工可以基于人工控制台对系统进行控制。

[0093] 进一步的，所述轨道交通视频分析控制盒7还用于获取员工反馈的人工标识；所述轨道交通视频分析控制盒7，用于当所述人工标识为用于表征所述识别结果为突发事件的标识时，向所述受控设备发送第二控制指令，以控制所述受控设备进行信息播报和事件处理；当所述人工标识为用于表征所述识别结果错误的标识时，则记录错误的识别结果；

[0094] 其中，所述错误的识别结果和对应的人工标识用于对所述轨道交通视频分析控制盒7内进行安防场景智能识别的模块进行重新训练。

[0095] 需要说明的是，人工标识可以是通过人工控制获取的，也可以是基于移动站务终端获取的。

[0096] 综上所述，本实用新型实施例提供一种轨道交通视频分析控制盒7和系统，其中轨道交通视频分析控制盒7为基于NVIDIA Carmel ARM的高性能、低成本、低功耗微处理器的轨道交通安防智能控制盒，该控制盒子硬件由JWIC(智能核心板1)和JWIS(智能载板2)组成。在JWIC中集成并运行各类视频AI分析算法，可根据场景定义异常事件，在边缘端快速实现对各类视频场景进行解析处理。JWIS中与JWIC通信，实现设备本身状态监测、数据无线传输、声光报警外设等功能。基于边缘计算的轨道交通安防智能控制盒可代替传统视频分析服务器，有效提升轨道道交通视频监控的实时性和智能性。

[0097] 本实用新型实施例提供的轨道交通视频分析控制系统的具体工作流程如图3所示：步骤101、车站摄像头采集视频流和音频流后通过交换机传输至基于边缘计算的轨道交通视频分析控制盒。步骤102、视频流和音频流通过JWIC网口(GBE)被传递到处CPU中，通过内部DMA发送到音视频信息解码模块(Audio&VideoDecoder)进行解码，得到原始码流。步骤103、原始码流经过CPU进行预处理，包括Resize，Crop、归一化、标准化等过程，得到适合深度神经网络输入的张量数据，音频码流经过CPU进行预处理包括MFCC、MEL等得到音频特征。
步骤104、张量数据输入到GPU中，数据经过GPU预加载的如目标检测、异常音频检测、等的神经网络模型，得到初步输出张量。步骤105、初步输出张量再次被传送回CPU，对初步输出张量进行张量聚类得到基于时间戳的图像分类结果，同时基于时间戳加入音频特征对图像进行融合，并基于管理办法、车站定制要求，对识别场景分级、分类。步骤106、对图像分级、分类结果进行数据打包，封装成Http数据流后，基于轨道交通专用无线B‑TrunC/5G发送到移动终端，或CAN/RS485发送到中心服务器端进行报警信息确认，同时设备本身发出声光报警。步骤107、若报警信息准确，则进一步构建关于报警场景处置流程及联动的知识图谱。根据车站场景风险级别，一方面通过移动端站务APP、服务器终端将报警信息通过PIS系统、广播对异常事件进行发布，其中根据视频分析结果选择距离事件场景位置最近的PIS屏、站台门、或者广播设备进行信息发布；如火灾、恐怖袭击、水灾等严重风险事件，通过联动事件相关设备如站台门、自动扶梯与垂直电梯、闸机、视频等实现设备应急协同联动控制；另一方面同时采取车站人工干预和处置。步骤108、若报警信息不准确，则人工标注，并将该场景作为“知识库”存储，供GPU神经网络模型继续训练优化。

[0098] 本实用新型实施例还提供一种轨道交通视频分析控制方法，应用于轨道交通视频分析控制盒，所述轨道交通视频分析控制盒设置与轨道视频监控装置一一对应设置，参照图4，所述轨道交通视频分析控制方法包括：

[0099] 步骤201，获取视频信息和音频信息；

[0100] 步骤202，基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果；

[0101] 步骤203，通过向中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景。

[0102] 可选的，所述轨道交通视频分析控制方法还包括：

[0103] 步骤204，基于所述识别结果，向轨道交通视频分析控制系统中的受控设备发送控制指令，以控制所述受控设备进行信息播报和事件处理；

[0104] 其中，所述受控设备包括：站台门、自动扶梯、垂直电梯、闸机、广播设备和显示屏；

[0105] 步骤205，向预设的移动站务终端发送识别结果。

[0106] 本实用新型实施例提供的方法的具体实施过程与本实用新型实施例提供的轨道交通视频分析控制盒和轨道交通视频分析控制系统的相关说明，在此不在进行一一赘述。

[0107] 图5为本实用新型另一实施例提供的轨道交通视频分析控制方法的流程示意图。参照图5，本实用新型实施例提供的轨道交通视频分析控制方法具体包括：

[0108] 多个摄像头(摄像头1至摄像头N)采集视频；

[0109] 轨道交通视频分析控制盒获取视频；

[0110] 步骤301，Audio&VideoDecoder进行解码；

[0111] 步骤302，CPU对视频和音频流进行预处理、张量化；

[0112] 步骤303，GPU通过预加载的神经网络对视频特征和音频特征训练、初步分类；

[0113] 其中，步骤302和步骤303协同执行。

[0114] 步骤304，CPU对视频和音频张量化数据聚类；

[0115] 步骤305，CPU基于同一时间戳对视频特征和音频特征融合；

[0116] 步骤306，CPU对车站监控场景基于管理办法、车站要求分级分类；

[0117] 步骤307，通过设备本身发出声光报警；

[0118] 步骤308，报警状态输出至移动端站务APP等供确认；

[0119] 其中，步骤308可以通过专用无线B‑TrunC/5G进行。

[0120] 步骤309，报警状态输出至监控服务器终端等供确认；

[0121] 其中，步骤309可以通过有线RS485/CAN进行。

[0122] 步骤310，若报警信息不准确，则人工标注，并将该场景作为“知识库”存储，供GPU神经网络模型继续训练优化；

[0123] 步骤311，进一步根据场景风险等级，建关于报警场景处置流程及联动的知识图谱；

[0124] 步骤312，一方面通过移动端站务APP、服务器终端将报警信息通过PIS系统、广播对异常事件进行发布，其中根据视频分析风险等级，可选择距离事件位置最近的PIS屏、站台门、或者广播设备进行文本、图像、声音、视频等形式的信息发布；

[0125] 步骤313，如火灾、恐怖袭击、水灾等严重风险事件，通过联动事件相关设备如站台门、自动扶梯与垂直电梯、闸机、视频等实现设备应急协同联动控制；

[0126] 步骤314，另一方面同时采取车站人工干预和处置。

[0127] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

[0128] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

[0129] 最后应说明的是：以上实施例仅用以说明本实用新型的技术方案，而非对其限制；尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：
其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型各实施例技术方案的精神和范围。