[0001] 本公开实施例涉及电子商务海报生成技术领域，尤其涉及一种群智知识增强的电子商务海报智能设计方法。

[0002] 近年来，电子商务产业蓬勃发展。对于电商平台而言，产品数量不断上升，促销活动不断增加，导致平面设计师需要快速制作大量海报。此外，双十一、电商节等活动的促销海报的更迭速度较快、时效性强。传统的人工设计海报的方法费时费力，而且需要较高的设计门槛。普通人员设计的海报可能既无法充分体现商品的卖点，又无法保证足够吸引用户，无法满足人们对产品宣传中的设计理念与美的需求。

[0003] 电子商务海报设计是平面设计的重要组成部分，旨在利用图形、文字、色彩等元素进行设计以展现特定商品的特点等，进而吸引消费者的注意力。目前，计算机技术已被广泛应用于辅助人类进行自动化平面设计工作；但是，现有的智能设计系统仍存在一些问题：系统依赖预先定义的布局模板进行布局生成，倾向于将重复的设计模式套用指每张海报的生成过程中，难以生成多样化的、内容丰富的布局设计；此外，使用这些工具进行海报设计时往往需要专业的设计学知识，缺乏专业知识的用户难以轻松快速地完成海报智能设计；另外，平台往往仅提供简单的设计工具，并没有利用众多的布局知识与设计素材给用户合理的设计建议。因此，利用计算机技术自动辅助无专业设计知识的用户设计出既多样又美观的海报是一个亟待解决的问题。

[0032] 现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

[0033] 此外，附图仅为本公开实施例的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

[0034] 本示例实施方式中提供了一种群智知识增强的电子商务海报智能设计方法。参考图1中所示，该群智知识增强的电子商务海报智能设计方法可以包括：步骤S101～步骤S106。

[0035] 步骤S101：构建基于CNN‑BiLSTM的对抗性生成网络，并输入商品海报信息；其中，对抗性生成网络包括生成器和判别器，所述生成器包括第一骨干网络和第一BiLSTM模块，所述判别器包括第二骨干网络和第二BiLSTM模块；

[0036] 步骤S102：利用DSF算法对所述商品海报信息的布局进行处理，以生成设计序列，并从所述用户主图中通过显著性检测得到显著性图；

[0037] 步骤S103：将所述显著性图和所述用户主图在通道轴上进行拼接并输出，将输出的结果送入所述第一骨干网络中，以提取视觉特征，将所述视觉特征作为所述第一BiLSTM模块的初始隐藏状态；

[0038] 步骤S104：将所述设计序列送入到1DCNN中，经过卷积、池化后送入到所述第一BiLSTM模块中，输出分别经过Softmax函数和Sigmoid函数，得到预测的元素类别和边界框，以构成预测布局；

[0039] 步骤S105：将所述设计序列输入至所述第二BiLSTM模块中，输出真假判定，将判定结果作为铰链损失的参数；

[0040] 步骤S106：基于所述铰链损失，将所述预测布局与初始真实布局做重建损失，以得到目标真实布局。

[0041] 通过上述群智知识增强的电子商务海报智能设计方法，一方面，采用基于CNN‑LSTM的对抗性生成网络，使用DSF算法对于人类设计师的行为进行建模，模拟人类设计师设计的过程，利用生成式对抗网络对群智海报设计知识进行训练，生成器与鉴别器的博弈中生成器得以学习到真实布局的分布，从而生成逼真的布局。另一方面，该方法可以针对智能设计工作的特点进行操作方式的改进，从而降低用户的使用门槛，提高海报设计的效率。

[0042] 下面，将参考图1至图4对本示例实施方式中的上述群智知识增强的电子商务海报智能设计方法的各个部分进行更详细的说明。

[0043] 在步骤S101中，构建基于CNN‑BiLSTM的对抗性生成网络，并输入商品海报信息；其中，对抗性生成网络包括生成器和判别器，所述生成器包括第一骨干网络和第一BiLSTM模块，所述判别器包括第二骨干网络和第二BiLSTM模块，如图2所示，为对抗性生成网络的结构框图。

[0044] 另外，还进行素材准备，用户输入商品海报的信息，内容包括商品名、商品类别、商品主图与商品的几条宣传语，作为稍后布局生成的输入。

[0045] 在步骤S102和步骤S103中，布局推荐阶段，左侧会显示用户方才输入的商品基本信息，用于核对与参考。在该页面，系统会利用预训练模型，从用户输入中提取特征，在布局数据库中进行对比，选择与用户输入最接近的一些海报布局设计，在页面中间展示。此时用户可以在这些布局中挑选一些较为合适的布局，点击之后，对应布局便会自动保存在页面上方的“时间线”上，供用户在下一阶段进行修改与挑选。

[0046] 在步骤S104和步骤S105中，海报精修，系统将调用布局生成模型，将用户的输入送入模型。在推理之前，会将用户上传的主图摆放在画布中，商品名与文本将会转换成带有标签的初始化布局和画布一起输入，进行布局的生成。

[0047] 布局生成使用基于CNN‑LSTM的对抗性生成网络，如图3所示。

[0048] 在生成器中，使用DSF算法对布局进行设计序列生成，然后从用户主图中通过显著性检测得到显著性图，原图在通道轴上进行连接，被送入视觉骨干网络FPN，提取视觉特征h0作为LSTM的初始隐藏状态：

[0049] h0＝Linear(FPN([I,S]))

[0050] 其中，h0为视觉特征，I为用户主图，S为显著性图，Linear()为全连接层，FPN()为第一骨干网络。

[0051] 设计序列经过DSF算法，送入1DCNN，经过卷积、池化后送入BiLSTM，输出分别经过Softmax和Sigmoid函数，得到预测的元素类别与边界框。

[0052] 生成的布局和真实布局做重建损失。重建损失包含了NLL、L1、GIoU损失：

[0053] Lrec＝∑(Nll+L1+GIoU)

[0054]

[0055] 其中，Lrec为损失函数，NLL为负对数似然损失，L1为平均绝对值误差，GIoU为泛化交并比，IoU为交并比，Ac为两个边界框的最小闭包区域面积，U为两个边界框的总覆盖面积[0056] 判别器部分，之前生成的布局经过DSF算法、1DCNN，和图片与显著性图送入BiLSTM，输出真假判定。引导生成器与鉴别器的对抗性损失是铰链损失(Hinge Loss)：

[0057] Ladv＝Hinge

[0058] 其中，Ladv为对抗性损失函数。

[0059] 得到每个元素对应的边界框后，返回前端。此时，系统会将图片与文本依据边界框位置在前端重新渲染为布局，呈现在画布上，这样就完成了海报精修阶段的初始化。在海报精修的界面的右侧，提供了和传统设计系统一致的设计工具栏，可以轻松地辅助用户完善海报的设计。设计完成的海报可以在该界面导出为任意格式。如图3所示，为电子商务海报智能设计流程图。

[0060] 可以理解的是，本申请基于群智知识增强的电子商务海报智能设计平台进行电子商务海报智能设计，群智知识增强的电子商务海报智能设计平台的系统技术栈如图4所示。

[0061] 通过上述群智知识增强的电子商务海报智能设计方法，从海量的群智数据中提取设计知识，对人类设计师的设计序列进行建模，通过优化现有布局生成方法的显著性检测模块增强海报生成质量，实现视觉注意引导与多模态内容感知的布局生成，设计并构建电子商务海报智能设计系统，针对电商海报智能生成的方法，将设计流程优化为用户简单输入、系统推荐、精修设计三步，提出符合智能设计方法的“时间线”与“色彩使用建议”功能，辅助缺乏设计知识的用户迅速设计出优质的海报。本申请利用以下原理：本申请采用基于CNN‑LSTM的对抗性生成网络，使用DSF算法对于人类设计师的行为进行建模，模拟人类设计师设计的过程，利用生成式对抗网络对群智海报设计知识进行训练，生成器与鉴别器的博弈中生成器得以学习到真实布局的分布，从而生成逼真的布局；系统设计简化了用户设计流程，“时间线”功能通过保存不同状态下的布局帮助用户解决了方案对比与细化的繁琐问题，“色彩使用建议”功能通过颜色距离的度量提醒用户修改不合理的色彩使用，智能推荐功能采用Chinese CLIP预训练模型对海报布局、元素与宣传语进行多模态表示，从而实现图文检索功能，为用户提供优质的推荐设计素材。

[0062] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

[0063] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。

[0064] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。