[0001] 本发明涉及数字人影像生成技术领域，尤其涉及一种基于虚拟演播厅的数字人影像生成方法及系统。

[0002] 目前，随着数字媒体和虚拟现实技术的快速发展，越来越多的行业开始探索使用虚拟环境来增强用户体验。在电视广播、电影制作、在线教育、游戏直播等领域，虚拟演播厅
技术已经得到了一定程度的应用。通过使用绿幕背景和特殊的视觉效果，主播或者演员可
以在有限的空间内呈现出丰富多彩的场景，极大地提升了内容创作的空间和想象力。

[0003] 然而，现有的虚拟演播厅技术主要关注于背景替换和视觉特效，对于数字人(即虚拟人物)的生成和交互方面并没有提供足够的支持。虽然有一些系统能够实现基本的三维
模型渲染，但这些模型的动作和行为往往非常有限，无法满足复杂场景下的应用需求。此
外，现有技术中的数字人模型通常需要手动控制，缺乏实时的动作捕捉和反馈能力。

[0048] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0049] 除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明术领域的技术人员通常理解的含义相同；本发明中所使用的术语只是为了描述具体的实施例的目的，
不是旨在于限制本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”
以及它们的任何变形，意图在于覆盖不排他的包含。

[0050] 在本发明实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次
关系。在本发明实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

[0051] 在本发明实施例的描述中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三
种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

[0052] 在本发明实施例的描述中，术语“多个”指的是两个以上(包括两个)，同理，“多组”指的是两组以上(包括两组)，“多片”指的是两片以上(包括两片)。

[0053] 在本发明实施例的描述中，技术术语“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、
以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。

[0054] 在本发明实施例的描述中，除非另有明确的规定和限定，技术术语“安装”“相连”“连接”“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一
体；也可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，
可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而
言，可以根据具体情况理解上述术语在本发明例中的具体含义。

[0055] 实施例一

[0056] 本发明实施例提供一种基于虚拟演播厅的数字人影像生成方法，如图1所示，包括：

[0057] S101、创建三维虚拟演播厅；虚拟演播厅中预设了三维场景。

[0058] 其中，三维虚拟演播厅是一种通过计算机图形学和虚拟现实技术创造出来的虚拟环境，它可以模拟真实世界的演播厅场景，并提供一个三维的空间供数字内容、虚拟人物或
虚拟对象进行互动和展示。创建三维虚拟演播厅一般包括以下步骤：

[0059] 需求分析：确定虚拟演播厅的用途和设计要求，收集所需场景的三维模型和纹理资源。

[0060] 场景建模：使用三维建模软件(如Blender、Maya、3ds Max等)创建地面、背景、道具等元素的三维模型,并细化模型细节，增加真实感，如灯光、阴影和反射效果，导入所需的三
维模型到虚拟现实引擎或渲染软件中。

[0061] 灯光设置：根据实际照明需求设置灯光，模拟自然光或人工光源，调整灯光强度、颜色和范围，以获得理想的光影效果。

[0062] 摄像机设定：设置虚拟摄像机的位置和角度，模拟真实的摄影机视角，调整摄像机的参数，如焦距、光圈、白平衡等。

[0063] 集成与测试：在虚拟现实引擎中集成所有元素，确保场景的完整性和互动性，测试不同视角和光照条件下的视觉效果。

[0064] 动画与交互：如果需要动态效果，可以添加关键帧动画或使用骨骼绑定来实现对象的运动，可以设置与虚拟环境的交互逻辑，比如物体的碰撞响应或用户操作的响应。

[0065] 渲染与输出：根据需要的分辨率和帧率进行渲染，输出成像文件或直接在虚拟现实环境中进行查看。

[0066] 其中，预设的三维场景可以根据特定需求定制，例如新闻播报、体育赛事、音乐会或其他类型的节目设计。通过精细的建模和真实的纹理，可以创造出极具沉浸感的虚拟环
境，让观众难以区分虚拟与现实。此外，通过集成实时渲染技术和交互逻辑，可以让虚拟演
播厅对观众的操作作出响应，提供更加个性化和互动性的观看体验。

[0067] S102、在虚拟演播厅中导入数字人影像生成模型。

[0068] 其中，数字人影像生成模型是一种计算机图形学技术，用于创建高度逼真的虚拟人物，这些虚拟人物可以用于电影、游戏、虚拟现实以及其他视觉效果领域。数字人影像生
成模型具备高度详细的外观和行为特征，能够模仿真实人类的外表和动作。

[0069] S103、获取数字人图像。

[0070] 其中，数字人图像指的是通过计算机图形学技术创建的、代表人类形象的二维或三维图像。这些图像可以是静态的，也可以是动态的，它们可以高度逼真地模仿真实人的外
表和动作，也可以是风格化或卡通化的表现形式。获取数字人有多种途径，具体取决于你的
需求和目的。以下是一些常见的方法：

[0071] 三维建模和渲染：使用三维建模软件(如Blender、3ds Max、Maya等)创建三维模型，然后通过渲染得到高质量的图像。这种方法可以完全控制数字人的外观和环境。

[0072] 照片建模：通过拍摄真人模特的照片或使用现有的人像照片，可以作为创建数字人图像的起点。使用这些照片，你可以通过图像编辑软件(如Photoshop)进行编辑和修饰，
或者使用特殊的软件(如ZBrush)从中提取出三维信息。

[0073] 扫描：使用三维扫描仪捕捉真人模特的三维数据，然后在计算机中对这些数据进行加工和修复，最终得到数字人模型。

[0074] 动作捕捉：如果你需要的是动态图像，可以使用动作捕捉系统捕捉真人动作，然后将这些动作应用到数字人模型上。

[0075] 合成：使用计算机图形学的技术，将数字人模型合成到其他背景或场景中，从而得到所需要的图像。

[0076] AI生成：利用深度学习技术，训练神经网络生成数字人图像。例如，使用生成对抗网络(GANs)可以生成极为逼真的数字人图像。

[0077] S104、将数字人图像输入至骨骼生成模型，得到骨骼矩阵。

[0078] 其中，骨骼生成模型(Bone Generation Model)通常是指在计算机图形学中用于创建和管理三维模型骨骼结构的技术。这种骨骼结构，也被称为“骨架”或“骨架模型”，是用
于控制三维模型的各个部分如何移动和变形的基础。骨骼生成模型可以应用于动画制作、
游戏角色设计、虚拟现实应用等领域。

[0079] S105、将数字人图像输入至皮肤生成模型，得到皮肤矩阵。

[0080] 其中，皮肤生成模型(Skin Generation Model)在计算机图形学中通常是指用于创建和模拟生物体皮肤表面的模型。这种模型可以用于视频游戏、电影特效、虚拟现实、医
学模拟等领域，以提供高度逼真的视觉效果。

[0081] S106、将骨骼矩阵和皮肤矩阵输入至数字人影像生成模型，得到数字人影像。

[0082] 具体地，将骨骼矩阵和皮肤矩阵结合起来，通常是通过将皮肤矩阵附加到由骨骼矩阵驱动的骨架结构上。这样，当骨骼矩阵改变时，皮肤矩阵也会随之改变，以保持其外观
上的连贯性。将合并好的骨骼和皮肤数据输入到数字人影像生成模型中，经过数字人影像
生成模型处理后，最终得到数字人影像。

[0083] 本发明实施例提供一种基于虚拟演播厅的数字人影像生成方法，包括：创建三维虚拟演播厅；在虚拟演播厅中导入数字人影像生成模型；获取数字人图像；将数字人图像输
入至骨骼生成模型，得到骨骼矩阵；将数字人图像输入至皮肤生成模型，得到皮肤矩阵；将
骨骼矩阵和皮肤矩阵输入至数字人影像生成模型，得到数字人影像，相比于现有技术，本发
明实施例能够在虚拟演播厅中生成数字人影像，满足了复杂场景下的应用需求；通过精细
地处理骨骼和皮肤信息，能够生成具有高度逼真特性的数字人影像；通过骨骼生成模型和
皮肤生成模型的独立处理，可以更加灵活地控制数字人的动作和外观，提高了生成过程的
灵活性和准确性。

[0084] 实施例二

[0085] 本发明实施例提供一种基于虚拟演播厅的数字人影像生成方法,如图2所示，包括：

[0086] S201、创建三维虚拟演播厅；虚拟演播厅中预设了三维场景。

[0087] S202、在虚拟演播厅中导入数字人影像生成模型。

[0088] S203、对数字人影像生成模型进行定位和姿态调整，以使数字人影像生成模型适应虚拟演播厅的所述三维场景。

[0089] 具体地，在将数字人影像生成模型导入虚拟演播厅之后，在三维空间中调整数字人影像生成模型的位置，使其处于虚拟演播厅中的合适位置。调整数字人影像生成模型的
姿态，使其与虚拟演播厅的场景相协调。

[0090] S204、获取数字人图像。

[0091] S205、将数字人图像输入至骨骼生成模型，得到骨骼矩阵。

[0092] 具体地，骨骼生成模型包含骨骼关键点检测模型，通过骨骼关键点检测模型提取骨骼关键点；从骨骼关键点中依次选择两个位置相邻的骨骼关键点；初始化预设数量的三
维零矩阵；用预设像素值填充各三维零矩阵中两个位置相邻的骨骼关键点对应的区域，以
将各三维零矩阵转换为每两个位置相邻的骨骼关键点对应的所述骨骼矩阵。

[0093] S206、将数字人图像输入至皮肤生成模型，得到皮肤矩阵。

[0094] 具体地，根据数字人图像生成网格，确定骨骼关键点影响网格顶点的皮肤权重；网格模拟人体的皮肤形状；基于网格连通度，对网格顶点的邻边特征取平均值，得到边缘轴；
在邻边特征进行前向传递后，根据骨骼关键点和皮肤权重对网格顶点的坐标值进行预测；
根据边缘轴和预测的网格顶点坐标值确定数字人皮肤矩阵。

[0095] 其中，数字人影像生成模型、骨骼生成模型和皮肤生成模型根据网格卷积和骨骼卷积搭建。

[0096] S207、将骨骼矩阵和皮肤矩阵输入至数字人影像生成模型，得到数字人影像。

[0097] S208、实时渲染数字人影像生成模型在虚拟演播厅中的影像。

[0098] 具体地，利用图形加速硬件(GPU)，通过渲染引擎对数字人影像生成模型在虚拟演播厅中的影像进行实时渲染。包括接收输入数据(如骨骼变换、摄像机移动等)，计算光照、
阴影、反射等，并输出最终的像素数据。

[0099] 本发明实施例提供一种基于虚拟演播厅的数字人影像生成方法，包括：创建三维虚拟演播厅；在虚拟演播厅中导入数字人影像生成模型；对数字人影像生成模型进行定位
和姿态调整；获取数字人图像；将数字人图像输入至骨骼生成模型，得到骨骼矩阵；将数字
人图像输入至皮肤生成模型，得到皮肤矩阵；将骨骼矩阵和皮肤矩阵输入至数字人影像生
成模型，得到数字人影像；实时渲染数字人影像生成模型在虚拟演播厅中的影像，相比于现
有技术，本发明实施例能够在虚拟演播厅中生成数字人影像，满足了复杂场景下的应用需
求；通过精细地处理骨骼和皮肤信息，能够生成具有高度逼真特性的数字人影像；通过骨骼
生成模型和皮肤生成模型的独立处理，可以更加灵活地控制数字人的动作和外观，提高了
生成过程的灵活性和准确性。

[0100] 实施例三

[0101] 本发明实施例提供一种基于虚拟演播厅的数字人影像生成系统，如图3所示，包括：

[0102] 创建模块31，用于创建三维虚拟演播厅；虚拟演播厅中预设了三维场景。

[0103] 导入模块32，用于在虚拟演播厅中导入数字人影像生成模型。

[0104] 获取模块33，用于获取数字人图像。

[0105] 第一输入模块34，用于将数字人图像输入至骨骼生成模型，得到骨骼矩阵。

[0106] 第二输入模块35，用于将数字人图像输入至皮肤生成模型，得到皮肤矩阵。

[0107] 第三输入模块36，用于将骨骼矩阵和皮肤矩阵输入至数字人影像生成模型，得到数字人影像。

[0108] 本发明实施例提供一种基于虚拟演播厅的数字人影像生成系统，包括：创建模块，用于创建三维虚拟演播厅；导入模块，用于在虚拟演播厅中导入数字人影像生成模型；获取
模块，用于获取数字人图像；第一输入模块，用于将数字人图像输入至骨骼生成模型，得到
骨骼矩阵；第二输入模块，用于将数字人图像输入至皮肤生成模型，得到皮肤矩阵；第三输
入模块，用于将骨骼矩阵和皮肤矩阵输入至数字人影像生成模型，得到数字人影像，相比于
现有技术，本发明实施例能够在虚拟演播厅中生成数字人影像，满足了复杂场景下的应用
需求；通过精细地处理骨骼和皮肤信息，能够生成具有高度逼真特性的数字人影像；通过骨
骼生成模型和皮肤生成模型的独立处理，可以更加灵活地控制数字人的动作和外观，提高
了生成过程的灵活性和准确性。

[0109] 实施例四

[0110] 本发明实施例提供一种基于虚拟演播厅的数字人影像生成系统，如图4所示，包括：

[0111] 创建模块41，用于创建三维虚拟演播厅；虚拟演播厅中预设了三维场景。

[0112] 导入模块42，用于在虚拟演播厅中导入数字人影像生成模型。

[0113] 定位与调整模块43，用于对数字人影像生成模型进行定位和姿态调整，以使数字人影像生成模型适应虚拟演播厅的三维场景。

[0114] 获取模块44，用于获取数字人图像。

[0115] 第一输入模块45，用于将数字人图像输入至骨骼生成模型，得到骨骼矩阵。

[0116] 第二输入模块46，用于将数字人图像输入至皮肤生成模型，得到皮肤矩阵。

[0117] 第三输入模块47，用于将骨骼矩阵和皮肤矩阵输入至数字人影像生成模型，得到数字人影像。

[0118] 渲染模块48，用于实时渲染数字人影像生成模型在虚拟演播厅中的影像。

[0119] 本发明实施例提供一种基于虚拟演播厅的数字人影像生成系统，包括：创建模块，用于创建三维虚拟演播厅；导入模块，用于在虚拟演播厅中导入数字人影像生成模型；定位
与调整模块，用于对数字人影像生成模型进行定位和姿态调整，以使数字人影像生成模型
适应虚拟演播厅的三维场景；获取模块，用于获取数字人图像；第一输入模块，用于将数字
人图像输入至骨骼生成模型，得到骨骼矩阵；第二输入模块，用于将数字人图像输入至皮肤
生成模型，得到皮肤矩阵；第三输入模块，用于将骨骼矩阵和皮肤矩阵输入至数字人影像生
成模型，得到数字人影像；渲染模块，用于实时渲染数字人影像生成模型在虚拟演播厅中的
影像，相比于现有技术，本发明实施例能够在虚拟演播厅中生成数字人影像，满足了复杂场
景下的应用需求；通过精细地处理骨骼和皮肤信息，能够生成具有高度逼真特性的数字人
影像；通过骨骼生成模型和皮肤生成模型的独立处理，可以更加灵活地控制数字人的动作
和外观，提高了生成过程的灵活性和准确性。

[0120] 最后应说明的是：以上各实施例仅用以说明本发明技术方案，非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等
同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案
的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。尤其是，只要不存在结构冲
突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文
中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。