具体技术细节
[0004] 本发明提供一种基于虚拟演播厅的数字人影像生成方法及系统,能够在虚拟演播厅中生成数字人影像,满足了复杂场景下的应用需求;通过精细地处理骨骼和皮肤信息,能
够生成具有高度逼真特性的数字人影像;通过骨骼生成模型和皮肤生成模型的独立处理,
可以更加灵活地控制数字人的动作和外观,提高了生成过程的灵活性和准确性。
[0005] 为达到上述目的,本发明采用如下技术方案:
[0006] 本发明第一方面提供一种基于虚拟演播厅的数字人影像生成方法,包括:
[0007] 创建三维虚拟演播厅;所述虚拟演播厅中预设了三维场景。
[0008] 在所述虚拟演播厅中导入数字人影像生成模型。
[0009] 获取数字人图像。
[0010] 将所述数字人图像输入至骨骼生成模型,得到骨骼矩阵。
[0011] 将所述数字人图像输入至皮肤生成模型,得到皮肤矩阵。
[0012] 将所述骨骼矩阵和所述皮肤矩阵输入至所述数字人影像生成模型,得到数字人影像。
[0013] 进一步的,所述的基于虚拟演播厅的数字人影像生成方法,在所述虚拟演播厅中导入数字人影像生成模型之后,还包括:
[0014] 对所述数字人影像生成模型进行定位和姿态调整,以使所述数字人影像生成模型适应所述虚拟演播厅的所述三维场景。
[0015] 进一步的,所述的基于虚拟演播厅的数字人影像生成方法,所述骨骼生成模型包括:
[0016] 所述骨骼生成模型包含骨骼关键点检测模型。
[0017] 进一步的,所述的基于虚拟演播厅的数字人影像生成方法,将所述数字人图像输入至骨骼生成模型,得到骨骼矩阵,包括:
[0018] 通过所述骨骼关键点检测模型提取骨骼关键点。
[0019] 从所述骨骼关键点中依次选择两个位置相邻的所述骨骼关键点。
[0020] 初始化预设数量的三维零矩阵。
[0021] 用预设像素值填充各所述三维零矩阵中两个位置相邻的所述骨骼关键点对应的区域,以将各所述三维零矩阵转换为每两个位置相邻的所述骨骼关键点对应的所述骨骼矩
阵。
[0022] 进一步的,所述的基于虚拟演播厅的数字人影像生成方法,将所述数字人图像输入至皮肤生成模型,得到皮肤矩阵,包括:
[0023] 根据所述数字人图像生成网格,确定所述骨骼关键点影响网格顶点的皮肤权重;所述网格模拟人体的皮肤形状。
[0024] 基于所述网格连通度,对所述网格顶点的邻边特征取平均值,得到边缘轴。
[0025] 在所述邻边特征进行前向传递后,根据所述骨骼关键点和所述皮肤权重对所述网格顶点的坐标值进行预测。
[0026] 根据所述边缘轴和预测的所述网格顶点坐标值确定数字人皮肤矩阵。
[0027] 进一步的,所述的基于虚拟演播厅的数字人影像生成方法,包括:
[0028] 所述数字人影像生成模型、所述骨骼生成模型和所述皮肤生成模型根据网格卷积和骨骼卷积搭建。
[0029] 进一步的,所述的基于虚拟演播厅的数字人影像生成方法,在将所述骨骼矩阵和所述皮肤矩阵输入至所述数字人影像生成模型,得到数字人影像之后,还包括:
[0030] 实时渲染所述数字人影像生成模型在所述虚拟演播厅中的影像。
[0031] 本发明第二方面提供一种基于虚拟演播厅的数字人影像生成系统,包括:
[0032] 创建模块,用于创建三维虚拟演播厅;所述虚拟演播厅中预设了三维场景。
[0033] 导入模块,用于在所述虚拟演播厅中导入数字人影像生成模型。
[0034] 获取模块,用于获取数字人图像。
[0035] 第一输入模块,用于将所述数字人图像输入至骨骼生成模型,得到骨骼矩阵。
[0036] 第二输入模块,用于将所述数字人图像输入至皮肤生成模型,得到皮肤矩阵。
[0037] 第三输入模块,用于将所述骨骼矩阵和所述皮肤矩阵输入至所述数字人影像生成模型,得到数字人影像。
[0038] 进一步的,所述的基于虚拟演播厅的数字人影像生成系统,还包括:
[0039] 定位与调整模块,用于对所述数字人影像生成模型进行定位和姿态调整,以使所述数字人影像生成模型适应所述虚拟演播厅的所述三维场景。
[0040] 进一步的,所述的基于虚拟演播厅的数字人影像生成系统,还包括:
[0041] 渲染模块,用于实时渲染所述数字人影像生成模型在所述虚拟演播厅中的影像。
[0042] 本发明提供一种基于虚拟演播厅的数字人影像生成方法及系统,包括:创建三维虚拟演播厅;在虚拟演播厅中导入数字人影像生成模型;获取数字人图像;将数字人图像输
入至骨骼生成模型,得到骨骼矩阵;将数字人图像输入至皮肤生成模型,得到皮肤矩阵;将
骨骼矩阵和皮肤矩阵输入至数字人影像生成模型,得到数字人影像,相比于现有技术,本发
明能够在虚拟演播厅中生成数字人影像,满足了复杂场景下的应用需求;通过精细地处理
骨骼和皮肤信息,能够生成具有高度逼真特性的数字人影像;通过骨骼生成模型和皮肤生
成模型的独立处理,可以更加灵活地控制数字人的动作和外观,提高了生成过程的灵活性
和准确性。
法律保护范围
涉及权利要求数量10:其中独权2项,从权-2项
1.一种基于虚拟演播厅的数字人影像生成方法,其特征在于,包括:
创建三维虚拟演播厅;所述虚拟演播厅中预设了三维场景;
在所述虚拟演播厅中导入数字人影像生成模型;
获取数字人图像;
将所述数字人图像输入至骨骼生成模型,得到骨骼矩阵;
将所述数字人图像输入至皮肤生成模型,得到皮肤矩阵;
将所述骨骼矩阵和所述皮肤矩阵输入至所述数字人影像生成模型,得到数字人影像。
2.根据权利要求1所述的基于虚拟演播厅的数字人影像生成方法,其特征在于,在所述虚拟演播厅中导入数字人影像生成模型之后,还包括:
对所述数字人影像生成模型进行定位和姿态调整,以使所述数字人影像生成模型适应所述虚拟演播厅的所述三维场景。
3.根据权利要求1所述的基于虚拟演播厅的数字人影像生成方法,其特征在于,所述骨骼生成模型包括:
所述骨骼生成模型包含骨骼关键点检测模型。
4.根据权利要求1或3所述的基于虚拟演播厅的数字人影像生成方法,其特征在于,将所述数字人图像输入至骨骼生成模型,得到骨骼矩阵,包括:
通过所述骨骼关键点检测模型提取骨骼关键点;
从所述骨骼关键点中依次选择两个位置相邻的所述骨骼关键点;
初始化预设数量的三维零矩阵;
用预设像素值填充各所述三维零矩阵中两个位置相邻的所述骨骼关键点对应的区域,以将各所述三维零矩阵转换为每两个位置相邻的所述骨骼关键点对应的所述骨骼矩阵。
5.根据权利要求1所述的基于虚拟演播厅的数字人影像生成方法,其特征在于,将所述数字人图像输入至皮肤生成模型,得到皮肤矩阵,包括:
根据所述数字人图像生成网格,确定所述骨骼关键点影响网格顶点的皮肤权重;所述网格模拟人体的皮肤形状;
基于所述网格连通度,对所述网格顶点的邻边特征取平均值,得到边缘轴;
在所述邻边特征进行前向传递后,根据所述骨骼关键点和所述皮肤权重对所述网格顶点的坐标值进行预测;
根据所述边缘轴和预测的所述网格顶点坐标值确定数字人皮肤矩阵。
6.根据权利要求1所述的基于虚拟演播厅的数字人影像生成方法,其特征在于,包括:
所述数字人影像生成模型、所述骨骼生成模型和所述皮肤生成模型根据网格卷积和骨骼卷积搭建。
7.根据权利要求1所述的基于虚拟演播厅的数字人影像生成方法,其特征在于,在将所述骨骼矩阵和所述皮肤矩阵输入至所述数字人影像生成模型,得到数字人影像之后,还包括:
实时渲染所述数字人影像生成模型在所述虚拟演播厅中的影像。
8.一种基于虚拟演播厅的数字人影像生成系统,其特征在于,包括:
创建模块,用于创建三维虚拟演播厅;所述虚拟演播厅中预设了三维场景;
导入模块,用于在所述虚拟演播厅中导入数字人影像生成模型;
获取模块,用于获取数字人图像;
第一输入模块,用于将所述数字人图像输入至骨骼生成模型,得到骨骼矩阵;
第二输入模块,用于将所述数字人图像输入至皮肤生成模型,得到皮肤矩阵;
第三输入模块,用于将所述骨骼矩阵和所述皮肤矩阵输入至所述数字人影像生成模型,得到数字人影像。
9.根据权利要求8所述的基于虚拟演播厅的数字人影像生成系统,其特征在于,还包括:
定位与调整模块,用于对所述数字人影像生成模型进行定位和姿态调整,以使所述数字人影像生成模型适应所述虚拟演播厅的所述三维场景。
10.根据权利要求8所述的基于虚拟演播厅的数字人影像生成系统,其特征在于,还包括:
渲染模块,用于实时渲染所述数字人影像生成模型在所述虚拟演播厅中的影像。