[0001] 本发明属于生成对抗模型以及服饰辅助设计领域，涉及一种草图生成对抗网络和一种渲染生成对抗网络及基于两个网络的服饰辅助设计方法，所述方法使用随机隐变量信息和纹理信息作为最原始的输入。

[0002] 着装中的时尚因素可以诠释自我的个性与特点，在如今的社会生活中扮演着重要角色。为了追随时尚趋势以及感知消费者在不同的社会环境中时尚品味的变化，时尚设计师会将美学、自然、文化和社会因素应用到时尚单品的设计中，同时满足既实用又美观的需求。传统的时装设计通常从设计一个草图开始，在用草图表达了自己的美学观点之后，通过上色变成一幅色彩丰富的时装插图，然后，通过选择纹理和布料完成完整单品设计过程。“AutoCAD”是一个较为流行的辅助设计系统，它的易于使用性也减少了很多设计师的学习成本。设计师利用系统中可用的资源，交互式地完成产品的设计过程，大大减少了设计工作量。“Photoshop”是“Adobe”公司开发的另一款图像处理软件，它不仅方便了设计人员进行图像的编辑和渲染，也为制作矢量图形和3D图像提供了便利。虚拟现实技术也被用于辅助时装设计，通过计算机模拟生成三维虚拟空间，其结合了计算机图形学、仿真、传感和显示技术，旨在帮助设计师建立三维时装模型来减少制作实物的时间和成本。以上这些传统的方法通常由一系列的复杂操作构成，如二维(2D)缝纫模式和创建草图模式，需要使用者花费大量的时间去学习使用而且需要使用者具备丰富的时尚领域知识去设计生产所需的3D服饰。基于传统方法的服饰设计设计师依然停留在他们单一的维度来检查和设计时装，缺乏与用户需求的互动效果，这样会造成设计师不能根据用户的要求来创造更加个性化的时装设计。

[0003] 深度学习技术的最新进展使智能设计变得可行，目前在时尚领域的研究主要集中于图像合成。其中，生成对抗网络是时尚图像生成的强大工具，生成模型这些年分别在无监督条件和有监督条件的网络设计中进行了探索，许多基于潜码的无监督模型在生成图像中都取得了很好的效果。然而，这些无监督的模型在生成图像时利用潜码信息作为输入，不能控制生成的类型和纹理。为了使生成的过程更具有可控性，基于条件信息的有监督的生成模型可以在已建立的草图中学习绘制纹理。已有的许多基于生成对抗网络的时装生成模型将图像分解为多个类别，如上衣、下衣和鞋子等，或者只能生成纯色的衣服和有规则纹理的衣服，生成模型的生成能力不足导致在处理具有复杂纹理的时尚单品图像生成时生成的图像质量下降。此外，现有的许多时尚图像生成方法通常需要大量的监督信息(如单品草图、单品二值图、单品纹理和单品类别等)，过度基于监督信息学习到的生成模型不具有时尚设计的能力，不能在真实环境中具有时尚辅助设计的功能。

[0037] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0038] 附图1显示了本发明提供的基于生成对抗网络的时尚服饰设计生成方法的流程图，其详述如下：

[0039] 步骤S1：构建服饰设计数据集。本发明使用的用于训练的数据来自于www.ployvore.com网站，网站内的用户既可以上传自己的图像，也可以分享和修改自己创建的图像，其他用户可以对用户创建的图像进行打分和评价。网站内的所有图片均具有干净的图片背景，本发明主要构建了不同类别、纹理和款式的时尚单品信息。用于训练的数据集包含七个与时尚相关的类别，包括裙子、牛仔裤、上衣、背包、帽子、短裤和夹克。

[0040] 在构造草图时，首先通过“opencv”中的“按位非”算法得到一个二进制掩码，然后通过边缘检测算法“Holistically‑Nested Edge Detection”提取相应的草图。为了获得高质量的纹理用于训练，在时尚单品图像的前景对象中随机裁剪了小区域，大小为32×32。

[0041] 步骤S2：设计草图生成对抗网络。本发明提出了一种无监督的草图生成模型对抗网络，模型基于生成对抗网络“StyleGAN2”的架构，如图2中所示，网络由输入的随机隐变量合成草图，表示为 其中，Gs表示草图生成器，z表示输入草图生成器中的噪声，Is代表输入的草图信息。映射网络由8个全连接层构成，由输入的隐变量生成中间层的隐变量。图像合成网络用残差网络结构的设计，使用双线性滤波进行上采样和下采样，以学习下一层的残差值，通过利用一个残差网络结构的跳跃连接从低分辨率的特征映射到最终生成的图像。草图判别器使用路径正则化的方式确保生成结果的多样性，判别器的目标函数可以表示为：

[0042]

[0043] 其中 表示由草图生成器生成的草图， 表示生成草图的图像域，Ds表示草图判别器，Gs表示草图生成器，噪声z符合标准高斯分布 为了使训练过程更加稳定，路径长度正则化可以表述为:

[0044]

[0045] 其中zw是通过8个全连接层后生成的中间层的隐向量，利用雅可比矩阵得到生成器映射的局部度量的尺度，草图生成对抗网络的目标函数可以表述为：

[0046]

[0047] 其中 表示使草图生成器的 最小， 表示使草图判别器的最大， 表示整个草图生成对抗网络的对抗过程。

[0048] 步骤S3：设计渲染生成对抗网络。本发明提出的渲染生成对抗网络如图3所示，分为两部分：一个编码器‑解码器结构的渲染生成器和一个渲染判别器。渲染对抗网络的输入为草图图像和纹理图像。

[0049] 其中，渲染生成器主要学习由草图和纹理图像到时尚单品图像的映射，表示为其中，Is代表输入的草图信息，It代表输入的纹理信息，Ps，t代表生成的时尚单品图像。为了充分利用输入的草图信息和纹理信息，设计条件交互模块(CFI)去学习一个映射函数可以使草图和纹理进行交互，进而生成逼真的图像。其中，条件特征交互模块CFI可以分解为特征归一化模块(FNL)和参数生成模块(PGL)。首先，草图Is和纹理It使用卷积层进行降采样，形成第一个特征映射I’s和I’t。在特征归一化模块FNL中，首先对I’s进行批归一化得到 在 参数生成模块PGL中，将I’s经过卷积模块 得到学习尺度γs，将I’s经过卷积模块 得到偏置βs。这样由条件特征交互模块CFI计算I′s的特征可以表述为：

[0050]

[0051] 其中， 代表取 的均值， 代表取 的方差，同样的，I′s，2,I′t，2,I′s，3,I′t，3和I′s，4也是按照同样的方式计算。

[0052] 渲染生成对抗网络的目标函数包含4种类型的损失函数：对抗损失、重建损失、感知损失和风格损失。其中，对抗损失采用的是PatchGAN的鉴别器架构，优化判别器Dr的损失可以表述为：

[0053]

[0054] 其中，Gr表示渲染生成器，Ps，t代表输入草图图像Is对应的真值。

[0055] 其次，为了保持合成图像和真实图像的颜色和纹理一致性，利用重建损失惩罚生成图像和原始图像的颜色差异，重建损失定义如下：

[0056]

[0057] 此外，为了使合成的图像具有和真值相同的语义信息，利用在“ImageNet”上预训练的VGG‑19的relu‑3和relu‑8层来计算感知损失，定义如下：

[0058]

[0059] 其中， 代表渲染生成器Gr的合成图像，Λi(x)为VGG‑19模型第i层的特征图。最后，为了使生成图像更加关注生成的局部细节信息，使用风格损失从“ImageNet”上预训练的VGG‑19提取relu‑3和relu‑8层中提取特征的Gram矩阵，定义风格损失如下：

[0060]

[0061] 代表Gram矩阵，最终需要满足的生成器目标函数为：

[0062]

[0063] 其中，λ1、λ2和λ3是预先定义的参数，在多次尝试调整后选取最优参数使生成的图像最为真实。

[0064] 步骤S4：对于端到端的训练策略，在迭代过程中，草图生成器首先利用潜在代码随机生成草图，然后利用哈希感知算法计算出和生成草图最相似的原域中草图。然后，利用匹配出的原域中的草图和原域中的纹理作为渲染生成器的输入，生成的图像结果和草图结果分别利用草图判别器和渲染判别器获得匹配度的得分，用于更新草图生成器、草图判别器、渲染生成器和渲染判别器。

[0065] 对于分而治之的时装设计策略，利用两步骤训练完成服饰生成的任务，第一步是通过隐码生成草图图像完成图像设计的任务；第二步将纹理传播到草图中。第一步由草图生成器生成的草图图像与真实的草图域计算匹配分数，用梯度下降策略更新草图生成器和草图判别器；第二步由草图和纹理作为渲染生成器的输入，得到单品生成图像和对应的真实图像的结果取更新渲染判别器，采用梯度下降的策略更新单品生成器和单品判别器；在分而治之的策略中，草图生成器、草图判别器、渲染生成器和渲染判别器在两次迭代中分别更新。

[0066] 本发明的主要贡献有以下两点：(1)建立了一个包含7类时尚物品的大规模数据集，并根据时尚数据集通过边缘检测算法构造出草图时尚单品数据集。(2)提出了用于设计师辅助设计的基于生成对抗网络的时尚服饰设计生成方法，使用无监督草图生成对抗网络的完成设计师的第一步草图绘制，为了使不同的纹理按照草图的语义信息映射到草图上，本发明提出一个基于条件特征的交互模块的渲染生成对抗网络来完成单品时尚图像的生成。基于不同的业务场景，在草图生成对抗网络和渲染生成对抗网络的基础上提出了端到端的训练方案和分而治之的训练方案去训练优化网络，为后期时尚辅助设计开拓了巨大的研究空间。

[0067] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。