[0001] 本发明属于音视频网络通信技术领域，具体为一种沉浸式虚拟课堂系统及方法。

[0002] 随着现代音视频通信技术的飞速进步，远程互动教育已成为教育领域不可或缺的一部分，其跨越地理界限、灵活安排学习时间的特点极大地促进了教育资源的均衡分配与学习效率的提升。然而，当前市场上的远程互动课堂解决方案往往侧重于内容的单向传输，即教师主要通过电脑屏幕进行教学，而学生则被动接受，这种模式在一定程度上削弱了教学过程中的即时互动性和参与感，影响了教学质量与学习体验。

[0003] 为了解决这一问题，本发明专利提出了一种创新性的系统及方法，旨在显著提升教师在远程线上课堂中的体验感，通过构建多维度、沉浸式的教学环境，增强师生互动，提升教学效果，解决用户参与门槛高、互动性差、系统扩展性不足等问题。

[0071] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0072] 如图1至图4所示，本发明实施例提供了一种沉浸式虚拟课堂系统，该沉浸式虚拟课堂系统包括有核心模块与扩展模块；

[0073] 核心模块包括有：WebRTC模块、媒体网关模块、音视频编码模块、分布式音视频解码模块、管理控制模块、沉浸式交互模块、个性化学习路径规划模块、教学资源库模块、云存储与同步模块和数据分析与评估模块。

[0074] 其中，WebRTC模块包括有WebRTC服务器；接收所有的音视频流数据，将主讲者内容发送至每个参与者，参与者无需安装客户端，通过浏览器即可参与网络课程。

[0075] ·部署位置：部署于公网平台，确保全球范围内的用户都能通过浏览器直接加入课程。

[0076] ·功能特点：支持Web浏览器直接参与，无需额外安装客户端软件，降低了用户参与门槛。实现主讲者与参与者之间的实时音视频通信，确保课程内容的即时传递与互动。

[0077] ·技术细节：采用WebRTC(Web Rea l‑T ime Commun i cat i on)技术，确保音视频流的低延迟、高质量传输。支持大规模用户并发接入，确保课程流畅进行。

[0078] 其中，媒体网关模块与公网和主讲区局域网连接，进行协议转换和媒体转发；媒体网关模块将输入的音视频流数据转换为WebRTC协议发送至所有参与者；

[0079] 一方面接收WebRTC模块发送的视频流数据，进行协议转换后在局域网内进行组播；另一方面接收分布式音视频解码模块发送的主讲区音视频数据，进行协议转换后发送至WebRTC模块。

[0080] ·连接作用：作为公网与主讲区局域网的桥梁，负责音视频流的协议转换和媒体转发。

[0081] ·功能特点：一方面，接收WebRTC模块发送的参与者视频流数据，进行协议转换后在主讲区局域网内进行组播，供主讲者及现场观众观看；另一方面，接收音视频编码模块发送的主讲区音视频数据，进行协议转换后发送至WebRTC服务模块，实现主讲内容的全网广播。

[0082] ·技术细节：支持多种音视频协议的转换，如H.264/H.265视频编码协议、AAC/Opus音频编码协议等。采用高效的转发机制，确保音视频流的快速、准确传输。

[0083] 其中，音视频编码模块对采集的音视频数据进行编码，并转发至媒体网关模块；

[0084] 采用私有协议将编码后的音视频数据传输给媒体网关模块；

[0085] 分布式音视频解码模块对媒体网关模块组播的音视频数据进行解码并输出给相应显示设备及音响设备；

[0086] 管理控制模块对涉及服务进行相应管理和参数配置：如分组，升级，组播源选择，画面布局等；技术特点：集成用户认证、权限管理、课程调度、资源分配及故障监控等功能于一体，确保系统的稳定运行和高效管理。

[0087] 音视频编码模块：

[0088] ·功能描述：对主讲区摄像机及麦克风采集的原始音视频信号进行编码处理，以便在网络中传输。

[0089] ·技术特点：采用先进的音视频编码技术，如H.266/VVC视频编码、Opus音频编码等，在保证音视频质量的同时，降低带宽占用。支持私有协议传输，确保音视频数据的安全性和完整性。

[0090] ·输出方式：编码后的音视频数据通过私有协议传输给媒体网关模块，由媒体网关模块进行后续处理。

[0091] 分布式音视频解码模块：

[0092] ·功能描述：对媒体网关模块组播的音视频数据进行解码处理，并输出给相应的显示设备及音响设备。

[0093] ·技术特点：支持分布式计算资源，实现音视频流的并行解码与渲染，减少解码延迟，提升用户体验。支持多种显示设备和音响设备的接入，满足不同教学场景的需求。

[0094] 其中，沉浸式交互模块包括有：

[0095] 交互设备兼容性：支持多种VR/AR设备和交互方式，如手势识别、语音控制，提高用户的交互体验和沉浸感；

[0096] 虚拟环境定制：提供虚拟教室环境的定制服务，包括场景设计、物品摆放、交互元素，满足不同教学场景的需求；

[0097] 个性化学习路径规划模块包括有：

[0098] 学习成效预测：利用机器学习算法预测学生的学习成效和潜在难点，提前干预并提供针对性的辅导资源；

[0099] 自适应反馈机制：根据学生的学习进度和反馈，动态调整学习路径和难度，提供个性化的学习建议和反馈。

[0100] 其中，教学资源库模块包括有：

[0101] 智能标签与检索：为教学资源添加智能标签，支持基于内容的快速检索和推荐；提供语义搜索功能，提高资源查找的准确性和效率；

[0102] 版权管理与合规：建立严格的版权管理机制，确保教学资源的合法性和合规性；支持版权信息登记、审核和维权功能；

[0103] 云存储与同步模块包括有：

[0104] 高可用性与数据备份：采用分布式存储架构和冗余备份机制，确保用户数据的高可用性和安全性；支持跨地域的数据备份和恢复策略。

[0105] 实时同步技术：利用实时同步技术(如WebSocket、MQTT等)，实现用户数据在不同设备间的即时同步，确保学习体验的连贯性；

[0106] 数据分析与评估模块包括有：

[0107] 多维度分析：从学习时长、参与度、成绩维度分析用户的学习行为和效果，提供全面的学习评估报告；

[0108] 可视化报告：提供直观、易懂的可视化报告，帮助教师和管理人员快速了解学生的学习情况和系统运行状态。支持自定义报告模板和导出功能。

[0109] 其中，扩展模块包括有：多语言支持模块、协作学习模块、虚拟实验模块、自适应学习模块和第三方应用集成模块。

[0110] 多语言支持模块

[0111] 语言翻译社区：建立用户贡献的翻译社区，鼓励师生参与教学内容的翻译和校对，加速国际化进程。

[0112] 语言偏好学习：通过用户的学习历史和互动数据，分析用户的语言偏好，并自动推荐相应语言的教学内容。

[0113] 本地化优化：针对不同地区的文化习惯和教育体系，对教学内容进行本地化调整，使其更符合当地学生的需求。

[0114] 协作学习模块

[0115] 实时协作编辑：支持多人在同一文档或项目上进行实时协作编辑，提高团队协作效率。

[0116] 协作成果展示：提供协作成果的在线展示平台，鼓励学生分享学习成果，促进相互学习和交流。

[0117] 协作评价系统：建立基于团队协作的评价体系，综合考虑个人贡献和团队成果，给予公正的评价和反馈。

[0118] 虚拟实验模块

[0119] 实验数据记录与分析：自动记录学生在虚拟实验中的操作过程和结果数据，提供数据分析工具，帮助学生深入理解实验原理。

[0120] 实验场景扩展：根据学科发展和教学需求，不断扩展虚拟实验的场景和类型，满足更多实验教学的需求。

[0121] 实验安全培训：在虚拟环境中模拟实验安全事故，进行安全教育和应急演练，提高学生的实验安全意识。

[0122] 自适应学习模块

[0123] 个性化评估测试：根据学生的学习进度和能力水平，生成个性化的评估测试题目，精准评估学生的学习效果。

[0124] 动态学习路径调整：根据评估测试结果和学生的学习反馈，动态调整学习路径和难度，确保学习内容的针对性和有效性。

[0125] 学习成就系统：建立学习成就系统，记录学生的学习成果和进步，激励学生持续学习和挑战自我。

[0126] 第三方应用集成模块

[0127] 开发者社区：建立第三方开发者社区，提供技术支持和文档资源，鼓励开发者开发更多优质的教育应用。

[0128] 应用市场：建立教育应用市场，展示和推荐优质的第三方教育应用，方便师生选择和使用。

[0129] 数据安全与隐私保护：在集成第三方应用时，严格遵守数据安全和隐私保护规定，确保用户数据的安全性和隐私性。

[0130] 其中，该虚拟课堂系统的方法具体包括以下步骤：

[0131] 步骤一，WebRTC平台搭建；

[0132] 构建一套基于WebRTC MCU(Mu lt ipoi nt Contro l Un it)架构的音视频实时通信平台，将WebRTC服务部署在拥有公网地址的服务器上；此平台支持线上多点互动课程，参与人员仅需通过浏览器客户端即可加入课堂，实现即时音视频交流。

[0133] 步骤二，媒体网关部署；

[0134] 在内网服务器上部署媒体网关服务，该服务能够无缝连接WebRTC服务器；WebRTC模块收集到的参与人员音视频数据被实时转发至媒体网关，媒体网关负责将这些数据转换为内部以太网组播流，并通过交换机分发至各个需要的解码终端；

[0135] 步骤三，主讲音视频编码；

[0136] 在主讲教室安装专用嵌入式音视频编码器，该编码器配备网络接口和音视频输入接口，用于接收讲师摄像机和麦克风采集的音视频信号；编码器对音视频数据进行高效压缩编码后，将编码数据发送给媒体网关；媒体网关接收数据后，将其封装为WebRTC格式，作为主讲源向所有参与者分发；

[0137] 步骤四，分布式解码服务；

[0138] 采用多个专用嵌入式音视频解码器组成分布式解码服务，每个解码器均配备网络接口和音视频输出接口；管理控制模块向解码器发送指令，指定其选择特定的组播源进行解码，并将解码后的音视频信号输出至对应的显示器和音响设备；支持多解码器对多显示器模式，确保每路音视频流都能独立、清晰地展示。

[0139] 步骤五，系统管理与控制；

[0140] 开启或关闭WebRTC服务，进行课程分组，控制音视频流的开启与关闭；通知分布式解码器选择组播源，调整画面布局方式，以适应不同的教学场景需求；设定或修改音视频编码格式，确保音视频数据在传输过程中的高效性和兼容性；

[0141] 步骤六，沉浸式环境构建；

[0142] 引入VR/AR技术，构建三维虚拟教室环境，为参与者提供身临其境的学习体验；支持手势识别、语音交互等自然交互方式，增强课堂互动性和趣味性；

[0143] 步骤七，个性化学习规划；

[0144] 根据用户的学习历史、成绩和偏好，利用智能算法规划个性化的学习路径；推荐适合用户的学习资源和课程，帮助用户高效达成学习目标；

[0145] 步骤八，教学资源库建设；

[0146] 构建丰富多样的多媒体教学资源库，支持在线编辑、上传和共享教学资源；为教师提供丰富的教学素材，为学生提供便捷的学习资料获取途径；

[0147] 步骤九，云存储与同步；

[0148] 利用云计算技术实现用户数据的云端存储和跨设备同步；确保用户在不同设备间无缝切换时，能够继续之前的学习进度，提高学习效率和便捷性；

[0149] 步骤十，数据分析与评估；

[0150] 对用户的学习行为、成绩和反馈进行大数据分析，提供详细的学习评估和反馈报告；帮助教师了解学生的学习情况，调整教学策略；帮助学生了解自身学习成效，制定更合理的学习计划。

[0151] 其中，该虚拟课堂系统的方法步骤还包括有：

[0152] 步骤一，多语言支持与国际交流；多语言支持模块提供实时翻译和字幕功能，支持多种语言界面和交互方式，促进国际学员之间的无障碍交流与学习；

[0153] 步骤二，协作学习与团队建设；协作学习模块鼓励学员之间的合作与交流，提供在线协作工具、讨论区功能，帮助学员共同解决问题、分享经验、提升团队协作能力；

[0154] 步骤三，虚拟实验与动手实践；虚拟实验模块为学员提供虚拟实验环境和实验器材，让学员在虚拟环境中进行实验操作、观察现象、验证理论，增强实践能力和创新思维；

[0155] 步骤四，自适应学习系统：自适应学习模块根据学员的学习反馈和表现，自动调整教学内容和难度，为学员提供个性化的学习体验；该模块能够智能识别学员的学习瓶颈和难点，并为其提供针对性的辅导和支持；

[0156] 步骤五，第三方应用集成：第三方应用集成模块允许教师或学员将外部工具、应用程序或资源无缝集成到虚拟课堂中。这些外部应用可以丰富教学内容、提升教学效果、满足学员的多样化需求。

[0157] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

[0158] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。