[0001] 本发明涉及智能评判技术领域，尤其涉及一种动车组虚拟操纵智能评判系统。

[0002] 随着高铁的快速发展，动车组在现代铁路交通系统中占据着重要的地位。为了提高动车组的安全性和稳定性，同时减少驾驶员人为失误所带来的问题，动车组虚拟操纵智能评判系统得以产生。该系统利用虚拟现实技术和人工智能技术，在模拟真实驾驶场景的基础上对驾驶员的操作进行评判，提供精准的反馈和指导，从而改善驾驶员的驾驶技能和操作水平，提高动车组的安全性和稳定性。

[0003] 为了强化动车组驾驶员遵循标准化操作的意识，确保列车安全顺畅地运行，各铁路局及机务段均装备了先进的模拟驾驶系统。这些系统精妙地再现了动车组控制面板上的HMI(人机界面)与DMI(驾驶室显示屏)的各类指示信息，并在高清晰显示屏上三维模拟展现了沿线的路况、以及列车在不同情境下的动态行驶状况。在学员实训过程中，模拟系统实时收集硬件反馈的精准数据，以便监测。尽管如此，传统的培训模式仍面临瓶颈：众多学员同期参与长时间的日常培训(通常每日持续约六至七小时)，依赖教员人工监控每位学员的操作，以判定是否存在违规行为。这种做法不仅使教员易因长时间高强度工作而出现疏漏，还极度耗费宝贵资源，效率低下。因此，亟需探索一种更为高效、准确的培训评估方案，以应对当前挑战。

[0004] 专利号CN2017114618060公开了一种车载考试评判终端和考试评判系统，可以实现机动车驾驶人考试科目二统一评判，减少考试过程中存在系统和人为因数风险，车载考试评判终端包括电控连接的电源模块、音频模块、控制器、LCD显示器、按键模块、BD/GPS模块、PLC信号采集模块，考试评判系统包括通讯连接的考试后台管理系统、公安交通管理综合应用平台、第三方车载工控机、第三方考试中心系统、车载评判终端，同时上述发明还提供了一种考生身份认证方法。

[0005] 专利号CN2020102967575公开了一种智能驾驶考试评判方法，该方法包括信息获取步骤、数据处理步骤和车载控制步骤，在信息获取步骤中，通过利用车载传感器实时感知并采集学员的驾驶行为数据并通过数据处理步骤中的车载计算装置对所采集的数据进行计算处理，并与预设的驾考规则库中的驾驶行为数据进行对比，得出对比结果根据对比结果判定学员的驾驶行为是否合格，在不合格时，由车载计算装置规划出安全路径并通过车载控制步骤中的车载控制装置控制车辆驶向安全路径的终点，实现了在驾驶考试中对容易受考官个人主观因素影响的考试科目评判的客观性，提高了驾考的公平性，并实现了对驾考车辆的安全控制，减少由驾驶培训与考试车辆引发的交通事故，保障道路行车安全。

[0006] 虽然，以上专利中都对车辆模拟驾驶过程中驾驶行为进行评判，但是不能够对不符合规范的驾驶行为及时进行纠正，并且对于某些驾驶行为的判断准则不严格，而且对于模拟驾驶过程中车辆的数据分析不够全面精细。

[0059] 以下结合附图和实施例对本发明作以详细的描述：

[0060] 如图1‑图2所示，本发明所述的一种动车组虚拟操纵智能评判系统，包括智能评判平台和若干模拟驾驶端，其中：

[0061] 模拟驾驶端，用于采集及预处理驾驶学员在模拟驾驶过程中的所有行为动作数据和动车的模拟运行数据；

[0062] 智能评判平台，用于对预处理后的行为动作数据和模拟运行数据按照设定的多模辨析模型进行评判并存储评判结果，还用于对驾驶学员进行实时反馈；

[0063] 模拟驾驶端包括采集模块、处理模块、传输模块和显示模块；

[0064] 采集模块，用于获取驾驶学员的行为动作数据和动车的模拟运行数据；

[0065] 本发明中，行为动作数据包括但不限于开关触摸、语音指令、操纵手势和视线转移；模拟运行数据包括但不限于动车实时模拟位置、动车行驶模拟轨迹、动车行驶速度、能耗统计、能耗分布、车厢温度、车厢湿度和车厢气压；

[0066] 采集模块包括动作捕捉单元和数据提取单元；动作捕捉单元利用开关触摸感应器捕捉驾驶学员在模拟驾驶过程中的开关触摸，利用语音采集设备采集驾驶学员在模拟驾驶过程中的语音指令；利用视频采集设备记录驾驶学员在模拟驾驶过程中的操纵手势和视线转移；数据提取单元利用虚拟传感器网络检测动车在模拟驾驶过程中产生的模拟运行数据；

[0067] 虚拟传感器网络包括但不限于数字惯性传感器、数字电压传感器、数字电流传感器、数字功率传感器、数字温度传感器、数字气压传感器和数字湿度传感器；语音采集设备可采用拾音器；视频采集设备可采用全景摄像头；

[0068] 处理模块，用于对行为动作数据和模拟运行数据进行预处理，以构建每个驾驶学员的专属数据块；

[0069] 本发明中，处理模块对行为动作数据和模拟运行数据进行预处理的流程为：

[0070] A：根据数据来源利用数据分块算法，将行为动作数据和模拟运行数据分别划分为若干个数据块；

[0071] B：对各数据块的内部数据根据预设时间间隔进行聚合，同时根据驾驶学员的实训编号将每个数据块分割为若干子数据块；预设时间间隔为小时或分钟；

[0072] C：根据驾驶学员的训练时间利用聚类算法，将子数据块的内部数据进行分类；

[0073] D：对完成分级的内部数据利用数据清洗算法进行异常数据清理；数据清洗算法包括但不限于数据去重算法、数据填充算法、数据转换算法和数据简化算法；

[0074] E：根据驾驶学员的实训编号，将完成数据清洗的所有子数据块的内部数据进行关联归一，以构建各驾驶学员的专属数据块；

[0075] 收发模块，用于将专属数据块发送至智能评判平台进行评判分析，并根据演示需求从智能评判平台接收完成评判分析的专属数据块及评判反馈结果；

[0076] 本发明中，收发模块包括通道构建单元和协议传输单元；通道构建单元利用虚拟等级路由算法构造各模拟驾驶端至智能评判平台的数据传输通道；协议传输单元利用CAN协议结合并行传输算法和缓存重传机制，将模拟驾驶端的专属数据块经过数据传输通道发送至智能评判平台，再将存储的专属数据块选择性发送至各模拟驾驶端；

[0077] 显示模块，用于展示实训任务指南，以指示驾驶学员进行模拟驾驶，并将智能评判平台中存储的专属数据块及评判反馈结果，根据演示需求进行展示；

[0078] 本发明中，显示模块包括交互单元和显示单元；交互单元利用调节旋钮和触摸板，对智能评判平台内的专属数据块及实训任务指南，进行选择性提取；显示单元利用显示器将选择性提取的专属数据块及实训任务指南进行展示；

[0079] 智能评判平台包括登录模块、评判模块和存储模块；

[0080] 登录模块，用于对各模拟驾驶端的数据传输过程进行检测和验证；

[0081] 本发明中，登录模块包括终端验证单元和数据核查单元；终端验证单元利用混沌校验算法，对各模拟驾驶端的登录请求码和设备校验码进行验证；数据核查单元利用时间序列分析算法根据驾驶学员的实训编号和训练时间，对专属数据块的内部数据进行校验；

[0082] 本实施例中，登录请求码指在驾驶学员登录时，模拟驾驶端会向智能评判平台发送一个登录请求码，用于标识本次登录请求的唯一性。智能评判平台接收到登录请求码后，会验证请求的合法性并进行登录相关的安全检查，如账号密码的正确性、登录设备的信任等；

[0083] 设备校验码指为了进一步加强驾驶学员登录的安全性，智能评判平台还会对驾驶学员所使用的设备进行校验，以确保登录设备的合法性。当用户使用新设备登录时，智能评判平台会向模拟驾驶端发送一个设备校验码，模拟驾驶端需要将该码输入到登录界面，以进行设备信息的校验和验证；

[0084] 评判模块，用于对各模拟驾驶端传输的专属数据块进行评判反馈，以生成评判反馈结果；

[0085] 本发明中，评判模块包括操纵判别单元和综合反馈单元；操纵判别单元利用预设的多模辨析模型，对专属数据块进行全方位解析比对，以生成全方位解析比对结果；综合反馈单元利用策略反馈算法，根据全方位解析比对结果生成对应的反馈策略，以形成评判反馈结果；

[0086] 本实施例中，多模辨析模型包括操纵解析层、运行复现层、特征关联层、迭代训练层和识别评判层；

[0087] 操纵解析层用于提取并解析专属数据块中的行为动作数据，以获取操纵动作特征值集合；

[0088] 本实施例中，操纵解析层获取操纵动作特征值集合的流程为：

[0089] F1：操纵解析层提取专属数据块中的行为动作数据；

[0090] F2：将行为动作数据根据数据格式划分为音频数据和视频数据：

[0091]

[0092] 其中，Q1表示音频数据，R表示音频格式， 表示哈达玛内积，BF()表示过滤函数，Q0表示行为动作数据，Q2表示视频数据，M表示视频格式；

[0093] F3：将音频数据中的语音指令进行解析提取，同时将视频数据中的动作指令进行解析提取：动作指令包括开关触摸、操纵手势和视线转移；

[0094] Q1＝∑i＝1(Ti⊙Si)+Qx      (3)

[0095] 其中，i表示语音指令编号，Ti表示第i条语音指令，⊙表示哈达玛外积，S表示过分相，Si表示第i条语音指令对应的过分相，Qx表示多余行为动作数据；

[0096]

[0097] 其中，j表示动作指令编号，Sthj表示第j次开关触摸， 表示矢量与，Mpgj表示第j次操纵手势，Sgzj表示第j次视线转移；

[0098] F4：将提取的所有行为动作数据转化为对应的特征值，并构建为操纵动作特征值集合；

[0099] 运行复现层用于提取并复现专属数据块中的模拟运行数据，以获取模拟复现特征值集合；

[0100] 本实施例中，运行复现层获取模拟复现特征值集合的流程为：

[0101] G1：运行复现层提取专属数据块中的模拟运行数据；

[0102] G2：将模拟运行数据按照数据属性划分为运营数据和环境数据；

[0103] 数据属性为从动车模拟驾驶过程中的数据来源；运营数据包括但不限于动车实时模拟位置、动车行驶模拟轨迹、动车行驶速度、能耗统计和能耗分布；环境数据包括但不限于车厢温度、车厢湿度和车厢气压；

[0104] G3：在模拟驾驶过程中的，运营数据和环境数据之间的关系为：

[0105] 利用动车实时模拟位置Position连续映射f()生成动车行驶模拟轨迹Trajectory：Trajectory＝f(Position)；能耗统计Energy consumption与动车行驶速度Velocity呈正比关系g()：Energy consumption＝g(Velocity)；能耗分布Energy distribution与动车行驶速度Velocity呈离散采样关系h()：Energy distribution＝h(Velocity)；车厢温度Temperature、车厢湿度Humidity和车厢气压Pressure与时间time和动车实时模拟位置Position呈k()元化关系：

[0106] Temperature,Humidity,Pressure＝k(time,Position)；

[0107] 能耗统计、能耗分布和车厢温度具备线性回归关系：

[0108] Energy consumption＝

[0109] β0+β1*Temperature+β2*Energy distribution+ε(5)

[0110] 其中，β0表示第一回归系数，β1表示第二回归系数，β2表示第三回归系数，ε表示误差系数；

[0111] G4：将提取的所有模拟运行数据转化为对应的特征值，并构建为模拟复现特征值集合；

[0112] 特征关联层依次利用4个步长为1的3×3×1卷积层、2个步长为2的5×5×1卷积层和3个步长为1的3×3×3转置卷积层，同时对操纵动作特征值集合和模拟复现特征值集合进行特征提取，分别获取操纵动作特征矩阵和模拟复现特征矩阵，再利用通道混洗层结合全局最近邻关联算法，对操纵动作特征矩阵和模拟复现特征矩阵进行全局关联，以获取综合特征矩阵；

[0113] 迭代训练层基于时间戳对综合特征矩阵进行若干次迭代训练，以获取综合权重矩阵；迭代训练层包括2个步长为2的3×3×3卷积层、4个步长为1的由1×3×3卷积及3×3×1卷积组合构成的最大池化层、3个步长为2的3×3×3空间分离卷积构成的平均池化层、4个残差块、3个倒残差块、2个InceptionV2块和全局注意力机制；每个残差块并联1个InceptionV4块块，每个倒残差块与2个串联的InceptionV1块并联，全局注意力机制对相同时间戳内的综合特征矩阵进行时间序列塑造，以形成动车连续运行控制链，进而提高驾驶学员的模拟驾驶精准性；

[0114] 识别评判层将实时采集处理的行为动作数据和动车的模拟运行数据，经过2个全局平均池化层、4个全连接层、LRelu激活函数和MISH激活函数后，利用设定的过分相进行逻辑判断全方位对比，以输出全方位解析比对结果；

[0115] 本实施例中，多模辨析模型的工作原理为：

[0116] 首先，操纵解析层提取专属数据块中的行为动作数据，将行为动作数据根据数据格式划分为音频数据和视频数据，将音频数据中的语音指令进行解析提取，同时将视频数据中的开关触摸、操纵手势和视线转移进行解析提取；将提取的所有行为动作数据转化为对应的特征值，并构建为操纵动作特征值集合；同时，运行复现层提取专属数据块中的模拟运行数据；将模拟运行数据按照数据属性划分为运营数据和环境数据；在模拟驾驶过程中的，运营数据和环境数据之间的关系为：利用动车实时模拟位置连续映射生成动车行驶模拟轨迹，能耗统计与动车行驶速度呈正比关系，能耗分布与动车行驶速度呈离散采样关系，车厢温度、车厢湿度和车厢气压与时间和动车实时模拟位置呈多元化关系，能耗统计、能耗分布和车厢温度具备线性回归关系；将提取的所有模拟运行数据转化为对应的特征值，并构建为模拟复现特征值集合；

[0117] 然后，特征关联层依次利用4个步长为1的3×3×1卷积层、2个步长为2的5×5×1卷积层和3个步长为1的3×3×3转置卷积层，同时对操纵动作特征值集合和模拟复现特征值集合进行特征提取，分别获取操纵动作特征矩阵和模拟复现特征矩阵，再利用通道混洗层结合全局最近邻关联算法，对操纵动作特征矩阵和模拟复现特征矩阵进行全局关联，以获取综合特征矩阵；

[0118] 随后，迭代训练层基于时间戳对综合特征矩阵进行若干次迭代训练，以获取综合权重矩阵；迭代训练层包括2个步长为2的3×3×3卷积层、4个步长为1的由1×3×3卷积及3×3×1卷积组合构成的最大池化层、3个步长为2的3×3×3空间分离卷积构成的平均池化层、4个残差块、3个倒残差块、2个InceptionV2块和全局注意力机制；每个残差块并联1个InceptionV4块块，每个倒残差块与2个串联的InceptionV1块并联，全局注意力机制对相同时间戳内的综合特征矩阵进行时间序列塑造，以形成动车连续运行控制链，进而提高驾驶学员的模拟驾驶精准性；

[0119] 最后，识别评判层将实时采集处理的行为动作数据和动车的模拟运行数据，经过2个全局平均池化层、4个全连接层、LRelu激活函数和MISH激活函数后，利用设定的过分相进行逻辑判断全方位对比，以输出全方位解析比对结果。

[0120] 存储模块，用于将完成评判反馈的专属数据块及评判反馈结果，利用数据库进行储存；

[0121] 本实施例中，数据库包括但不限于元数据库和关系型数据库；

[0122] 本发明中，开关触摸感应器、语音采集设备、视频采集设备、虚拟传感器网络、数据分块算法、聚类算法、数据清洗算法、虚拟等级路由算法、CAN协议、并行传输算法、缓存重传机制、调节旋钮、触摸板、显示器、混沌校验算法、时间序列分析算法和策略反馈算法均为现有技术，在此不再进行赘述。

[0123] 实施例：

[0124] 智能评判系统首先执行自检程序，确保所有硬件组件(触摸检测模块如触摸屏、语音输入模块如语音采集设备、视频输入模块如全景摄像头等)以及软件模块(语音识别引擎、图像处理算法、过分相逻辑判断等)均正常运作；将多模辨析模型加载到内存中，这些模型经过预先训练，能够识别特定的语音指令和驾驶操作行为。同时，加载过分相等关键操作的预定义标准流程模型；并将智能评判系统切换至实训模式，显示单元利用显示器将选择性提取的实训任务指南进行展示，等待驾驶学员开始操作；

[0125] 然后，模拟驾驶端的采集模块通过动作捕捉单元，利用开关触摸感应器捕捉驾驶学员在模拟驾驶过程中的开关触摸，利用语音采集设备采集驾驶学员在模拟驾驶过程中的语音指令；利用视频采集设备记录驾驶学员在模拟驾驶过程中的操纵手势和视线转移；通过数据提取单元利用虚拟传感器网络，检测动车在模拟驾驶过程中产生的模拟运行数据；行为动作数据包括但不限于开关触摸、语音指令、操纵手势和视线转移；模拟运行数据包括但不限于动车实时模拟位置、动车行驶模拟轨迹、动车行驶速度、能耗统计、能耗分布、车厢温度、车厢湿度和车厢气压；

[0126] 处理模块对行为动作数据和模拟运行数据进行预处理，根据数据来源利用数据分块算法，将行为动作数据和模拟运行数据分别划分为若干个数据块；各数据块的内部数据根据预设时间间隔进行聚合，同时根据驾驶学员的实训编号将每个数据块分割为若干子数据块；预设时间间隔为小时或分钟；根据驾驶学员的训练时间利用聚类算法，将子数据块的内部数据进行分类；对完成分级的内部数据利用数据清洗算法进行异常数据清理；数据清洗算法包括但不限于数据去重算法、数据填充算法、数据转换算法和数据简化算法；根据驾驶学员的实训编号，将完成数据清洗的所有子数据块的内部数据进行关联归一，以构建各驾驶学员的专属数据块；

[0127] 通过收发模块的通道构建单元利用虚拟等级路由算法，构造各模拟驾驶端至智能评判平台的数据传输通道；通过协议传输单元利用CAN协议结合并行传输算法和缓存重传机制，将模拟驾驶端的专属数据块经过数据传输通道发送至智能评判平台，再将存储的专属数据块选择性发送至各模拟驾驶端；通过显示模块的交互单元利用调节旋钮和触摸板，对智能评判平台内的专属数据块及实训任务指南，进行选择性提取；通过登录模块的终端验证单元利用混沌校验算法，对各模拟驾驶端的登录请求码和设备校验码进行验证；通过数据核查单元利用时间序列分析算法，根据驾驶学员的实训编号和训练时间，对专属数据块的内部数据进行校验；通过评判模块的操纵判别单元利用预设的多模辨析模型，对专属数据块进行全方位解析比对，以生成全方位解析比对结果：

[0128] 驾驶学员在操作过程中发出的语音指令被实时捕获，模拟驾驶端对采集到的语音信号进行预处理，提取其特征向量，并与预设的过分相操作相关的语音模型进行匹配。例如，识别“准备过分相”等关键词；若识别的语音信息与过分相操作的标准指令不匹配，系统自动记录扣分，并通过语音或屏幕提示学员正确的操作指令；

[0129] 对于视频数据，针对前后10秒的视频流，智能评判平台执行灰度化处理减少色彩干扰，应用中值滤波等方法消除图像中的噪点，确保后续分析的准确性。利用帧差法分析处理后的视频序列，识别手势握拳等关键操作的变化，与标准操作流程对比；如果发现驾驶学员操作与过分相的标准操作流程不符(如未手比过分相注意)，系统记录相应的扣分，并通过视觉或语音提示指出具体错误，引导学员正确操作；

[0130] 接着，通过综合反馈单元利用策略反馈算法，根据全方位解析比对结果生成对应的反馈策略，以形成评判反馈结果；

[0131] 最后，利用存储模块将完成评判反馈的专属数据块及评判反馈结果，利用数据库进行储存。