[0001] 本发明涉及目标检测、图像分类领域，具体涉及一种基于图像处理技术的教师教学状态自动评价方法及系统。

[0002] 教师教学状态作为教师教学表现的主要方面，是表现性教育评价的基本依据。开展基于图像处理技术的教师教学状态评价，充分利用了深度学习在目标检测领域和图像分
类领域的优势，有利于全面准确了解教师教学状态，为促进教师有效教学、建设高质量课堂提供支持。当前基于图像处理技术的教师教学状态自动评价中存在以下困难：(1)当前课堂实录视频资源受限于拍摄角度、学生分布干扰、视频质量较低，机器难以自动准确识别教师动作以及各动作差异，难以实现对教师动作细节的准确提取和识别；(2)缺乏针对教师教学状态的特征识别与指标构建，难以实现全面系统的教师教学状态监测评价；(3)缺乏基于图像处理技术的教师教学评价的规范化流程和方法，致使规模化、自动化、客观化的教师教学状态监测评价难以实现。

[0026] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

[0027] 如图1所示，本发明实施例提供一种基于图像处理技术的教师教学状态自动评价方法，包括如下步骤：

[0028] (1)教师教学状态量化框架构建。建立教师教学状态评价指标，将评价指标分为教学态度、授课方式和教学位置，确定各评价指标相关数据要素。

[0029] (1‑1)建立教师教学状态评价指标。根据教师教学状态特征，确定教师教学状态评价指标，包括教学态度、授课方式和教学位置三个指标。

[0030] (1‑2)确定各评价指标相关数据要素。根据评价指标含义，确定评价指标相关数据要素。各评价指标说明和相关数据要素如表1所示。

[0031] 表1教师教学状态评价指标

[0032]

[0033] (2)教师教学状态检测模型建立。获取教师教学状态训练样本，建立教师教学状态检测模型网络结构，通过样本训练确定教师教学状态检测模型。

[0034] (2‑1)获取教师教学状态训练样本。获取训练用的课堂实录视频资源，筛选有效图片，并根据教师教学状态相关指标的要素内容标注图片内容，得到教师教学状态训练样本。

[0035] (2‑1‑1)视频资源获取。读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片。

[0036] (2‑1‑2)样本标注。根据教师教学状态指标所包含的数据要素，对图片进行特征标注，并对得到的特征数据进行增强操作，得到教师教学状态训练样本Sample_teacher。数据增强操作如下：

[0037] A.图像随机向右或者向左旋转40度；

[0038] B.图像进行垂直或水平翻转；

[0039] C.随机设置部分像素值为0；

[0040] D.给图像随机增加噪声。

[0041] (2‑2)建立教师教学状态检测模型网络结构。在YOLOV5模型网络结构的基础上增加Swin‑Transformer模块，Swin‑Transformer模块结构如图2所示，构建教师教学状态检测模型网络结构，新的网络结构包括输入网络、BackBone‑Swin网络、Neck网络和输出网络。其中输入网络、Neck网络和输出网络均沿用YOLOV5模型网络结构，BackBone‑Swin网络是在
YOLOV5模型的BackBone结构的基础上，增加Swin‑Transformer模块结构。整体网络结构如图3所示，具体内容如下：

[0042] (2‑2‑1)输入端。输入教师教学状态训练样本Sample_teacher，经过自适应缩放处理为608*608*3的数据，并输出到BackBone‑Swin网络。

[0043] (2‑2‑2)BackBone‑Swin网络。BackBone‑Swin网络主要由Focus模块、CBL模块、CSP1_5模块、SPP模块和Swin‑Transformer模块组成。数据在BackBone‑Swin网络的处理过程为：经过Focus模块进行切片处理并融合切片结果；然后由CBL模块和CSP1_5模块进行多次特征上采样和下采样；再经过SPP模块进行最大池化，然后进行特征融合，并输出给Swin‑Transformer模块，Swin‑Transformer模块处理后的数据传到Neck网络。样本在BackBone‑Swin的处理流程如图4所示。

[0044] a.Fcous模块接收来自输入端的教师教学状态图片数据，采用切片操作，获得304*304*12的特征数据，再经过一次64卷积核的卷积操作，最终变成304*304*64的特征数据；

[0045] b.利用CBL模块对304*304*64的特征数据进行卷积并输出得到152*152*128的特征数据，并将特征数据传入CSP1_5进行特征下采样得到76*76*128的特征数据；

[0046] c.再传入CBL进行卷积操作，获得76*76*256的特征数据，传入CSP1_5进行特征下采样得到38*38*256的特征数据，形成2个输出；其中，输出BS‑feature1传入后续BackBone‑Swin网络模块，输出BS‑feature2传入Neck网络；

[0047] d.输出BS‑feature2经过CBL获取38*38*512的特征数据，再传入CSP1_5进行特征下采样得到19*19*512的特征数据，形成2个输出；其中，输出BS‑feature3传入Neck网络，输出BS‑feature4传入BackBone‑Swin网络的CBL得到19*19*1024的特征数据，并输入到SPP中进行最大池化，然后进行特征融合，融合后的特征输入到Swin‑Transformer模块中，并输出特征BS‑feature5给Neck网络，经由Swin‑Transformer模块的处理可以捕捉不同的局部信息，并减少计算量。

[0048] (2‑2‑3)Neck网络。将经由BackBone‑Swin网络处理后的数据，导入Neck网络中，并经过不同的张量拼接层Concat进行特征聚合，生成待预测的图片，并传到输出端，Neck网络具体工作流程如图5所示。

[0049] a.经过CBL接受来自Swin‑Transformer模块的特征数据，并进行卷积，卷积后的数据形成2个输出，其中NS‑feature1进行上采样，NS‑feature2直接输送至张量拼接层Concat；

[0050] b.经过上采样的数据和CPS1_5传来的BS‑feature3输入张量拼接层Concat，得到的结果利用CSP2_2进行特征融合，CBL进行卷积，并得到2个输出NS‑feature3和NS‑
feature4，其中NS‑feature3直接输送至张量拼接层Concat；

[0051] c.NS‑feature4经过上采样后，与来自BackBone‑Swin网络的BS‑feature2同时导入张量拼接层Concat，其结果经过CSP2_2进行特征融合，形成2个输出NS‑feature5和NS‑feature6，其中NS‑feature5输出到输出端；

[0052] d.NS‑feature6输出到CBL，CBL卷积以后与NS‑feature3同时导入张量拼接层Concat，然后由CSP2_2进行特征融合，形成2个输出，其中NS‑feature7会输出到输出端；

[0053] e.NS‑feature8输出到CBL，CBL卷积后的数据与NS‑feature2同时导入张量拼接层Concat，然后由CSP2_2进行特征融合，并输出NS‑feature9到输出端。

[0054] (2‑2‑4)输出端。输出端获取来自Neck网络的特征数据，然后利用特征数据生成预测结果，并计算预测结果的损失值，本网络采用Focal‑EIOU_Loss函数计算损失值。

[0055] (2‑3)模型训练与确定。设置模型训练参数，将教师教学状态训练样本用于模型训练，使用精确度P、召回率R、F1评分、平均精确度mAP评价每个模型的性能，其中mAP作为评估模型总体性能的关键指标，最后将mAP最高的模型确定为教师教学状态检测模型。各参数具体计算公式如下：

[0056]

[0057]

[0058]

[0059]

[0060] 其中，P代表精确率，R代表召回率，TP指正确预测真实值的次数，FP指正确预测错误值的次数，FN指错误预测真实值的次数，mAP代表每一类指标的平均正确率。

[0061] (3)教师教学状态评价。应用教师教学状态检测模型，分析待检测的课堂实录视频资源，得到评价指标相关数据要素检测结果，建立教师教学状态评价算法，测算教师教学状态，以可视化方式展示评价结果。

[0062] (3‑1)教师教学状态评价指标相关数据项测算。调用教师教学状态检测模型，分析待检测的课堂实录视频资源，测算教师教学状态相关的数据要素结果。

[0063] (3‑1‑1)待测资源处理。将待检测的课堂实录视频资源转换为统一规格的图片集合S，记录每个图片对应时刻。

[0064] (3‑1‑2)检测模型调用。调用教师教学状态检测模型检测图片集合S，得到每个图片中关于各项数据要素的检测结果，每个图片的检测结果信息包括数据要素名称、教师图像、图像坐标和对应时刻。

[0065] (3‑1‑3)评价指标相关数据项测算。根据评价指标与数据要素的对应关系，合并关于各项数据要素的检测结果，计算评价指标相关数据项结果。具体如下：

[0066] 教学态度指标相关的持续时长测算：合并“接电话”数据要素的检测结果，将连续时刻合并为一个时间段，计算各时间段所占时间长度之和作为教学态度指标相关的持续时长Tattitude。

[0067] 授课方式指标相关的持续时长测算：合并“板书、实物演示、播放PPT、教学手势”数据要素的检测结果，测算各数据要素的持续时长Tmethod和出现的种类数Nmethod，当授课方式的某个数据要素持续时长Tmethod≥1min时Nmethod才进行计数。

[0068] 教学位置指标相关的时长测算：获取“教室前、教室中、教室后”数据要素的检测结果，将连续时刻合并为一个时间段，分别计算各要素所占时间长度之和Tposition‑ahead、Tposition‑central和Tposition‑rear作为教学位置指标相关的持续时长。

[0069] (3‑2)教师教学状态评价指标得分测算。建立教师教学状态评价算法，处理评价指标相关数据项测算结果，计算各评价指标得分。

[0070] (3‑2‑1)教学态度指标得分测算。根据教学态度指标相关的持续时长Tattitude，时长单位为分钟，测算教学态度指标得分Sattitude。若Tattitude＝0，Sattitude为100分；若Tattitude∈(0，4]，Sattitude为80分；若Tattitude∈(4，6]，Sattitude为60分；若Tattitude∈(6，8]，Sattitude为40分；若Tattitude＞8，Sattitude为0分。

[0071] (3‑2‑2)授课方式指标得分测算。根据授课方式指标相关数据要素出现的种类数Nmethod，测算授课方式指标得分Smethod。若Nmethod＝0，Smethod为0分；若Nmethod＝1，Smethod为60分；
若Nmethod∈(1，3]，Smethod为80分；若Nmethod＞3，Smethod为100分。

[0072] (3‑2‑3)教学位置指标得分测算。根据教学位置指标相关的持续时长Tposition‑ahead、Tposition‑central和Tposition‑rear，时长单位为分钟，给出教师上课类型判断结果Typeteach和教学位置指标得分Sposition。若Tposition‑central＞Tposition‑ahead且Tposition‑central＞Tposition‑rear，则Typeteach判断结果为融入学生型，Sposition为100分；若Tposition‑ahead＞Tposition‑central且Tposition‑ahead＞Tposition‑rear，则Typeteach判断结果为讲台讲授型，Sposition为80分；若Tposition‑rear＞Tposition‑ahead且Tposition‑rear＞Tposition‑central，则Typeteach判断结果为监督教学型，Sposition为60分。

[0073] (3‑3)教师教学状态综合评价得分测算。综合评价得分测算公式为根据各特征得分和权重系数，应用线性加权方法计算综合评分值。

[0074] Score＝Sattitude×Wattitude+Smethod×Wmethod+Sposition×Wposition

[0075] 其中，Score表示教师教学状态综合评价得分，Sattitude和Wattitude分别表示教学态度指标的得分和权重系数，Smethod和Wmethod分别表示授课方式指标的得分和权重系数，Sposition和Wposition分别表示教学位置指标的得分和权重系数。

[0076] (3—4)可视化展示。结合教师教学状态评价指标相关数据项测算结果和教师教学状态综合评价得分进行可视化绘图。其中利用折线图展示每个指标的图片和时间点，并根
据图像坐标，将每个检测结果进行分割并展示到折线图的对应节点上；使用饼状图来展示
教师教学位置相关的时长占比。可视化展示结果如图6所示。

[0077] 本发明实施例还提供一种基于图像处理技术的教师教学状态自动评价系统，用于实现上述的基于图像处理技术的教师教学状态评价方法，包括：

[0078] 特征标注模块，将课堂实录视频资源转换为图片，获取教师教学状态涉及的教师动作行为，对图片进行特征标注；

[0079] 样本数据处理模块，将完成特征标注后的图片进行数据增强操作，得到教师教学状态训练样本；

[0080] 教师教学状态检测模型网络模块，构建训练教师教学状态检测模型的网络结构；

[0081] 模型训练模块，基于教师教学状态网络，训练教师教学状态检测模型；

[0082] 教师教学状态检测模块，使用训练后的教师教学状态检测模型，分析待检测的课堂实录视频资源，测算教师教学状态检测结果；

[0083] 教师教学状态评价指标相关数据项测算模块，处理教师教学状态的检测结果，计算评价指标相关数据项结果；

[0084] 综合评价模块，基于评价指标相关数据项测算结果，利用教师教学状态评价算法，计算各评价指标得分和教师教学状态综合评价得分；

[0085] 可视化展示模块，综合教师教学状态评价指标相关数据项测算结果和教师教学状态综合评价得分，利用柱状图和折线图绘制可视化结果。

[0086] 本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。

[0087] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。