[0001] 本发明属于人工智能领域，具体涉及一种生成对抗神经网络压缩方法。

[0002] 当下生成对抗神经网络(gan)模型的使用由训练和推理两阶段组成，其在图像生成、图像转换、数据增强方面取得了很大成功。与此同时，边缘智能将人工智能融入边缘计算，将智能算法部署在边缘设备,作为更快更好地提供智能服务的一种服务模式。边缘智能已逐渐渗入各行各业。

[0003] 然而，当下边缘智能面临着巨大挑战。将gan网络模型部署在边缘设备上面临着计算、存储、能耗资源受限的挑战：边缘设备的计算、存储能力往往远小于专用服务器。无法满足gan网络模型训练、推理所需。除此之外，部分边缘设备采用蓄电池等小型供电设备，无法满足计算所需的能耗。例如：NVIDIA的AI嵌入式设备Jetson TX2拥有256个CUDA核心、8G内存、7.5W能耗；而NVIDIA 1080TI GPU拥有3584个CUDA核心，11G显存，二者有很大性能差异。

[0004] 对gan网络模型进行压缩后再部署是解决上述挑战的有效方法。压缩后的模型对设备的计算、存储、能耗资源需求降低很多，同时推理的效果不受太大影响。

[0005] 目前的通用模型压缩方法由两步构成：1.精细网络结构设计与修剪；2.精细网络表现提升。精细网络结构设计与修剪的常见方法有如下几类：手工设计、量化、剪枝、自动机器学习、网络分解；精细网络表现提升的常见方法有：重训练、知识蒸馏。

[0006] 对于精细网络结构设计与修剪：手工设计网络常用于卷积层结构设计、需要大量经验和试错、普适性差；量化通常会导致精度大幅度损失；自动机器学习的假设空间通常非常大，需要强大的计算资源；网络分解方法普适性差。剪枝方法是最常用的精细网络设计与修剪方法。对于精细网络表现提升：重训练后的模型表现通常差于知识蒸馏方法，知识蒸馏方法是最常用的精细网络表现提升方法。

[0007] 知识蒸馏的基本思想是通过软化的softmax目标变换学习教师网络输出的类别分布，将大型网络模型(教师网络)的知识精炼为小型网络模型(学生模型)的知识。该方法的表现较稳定、有完备的数学理论基础，是较常用的表现提升方法。

[0008] 模型剪枝的基本思想是寻找一种有效的评判手段来判断参数或卷积核的重要性，将不重要的连接或者卷积核进行裁剪来减少模型的冗余。常见的模型剪枝分为结构化剪枝和非结构化剪枝。非结构化剪枝的修剪维度是单个连接，结构化剪枝的修剪维度是卷积核。

[0009] 以上技术常用于卷积神经网络和其他深度学习模型中。现有的模型压缩方法由于以下原因，难以直接运用到gan网络模型中：

[0010] 1.现有的gan网络模型的剪枝效果较差，精度损失严重。

[0011] 2.gan网络模型损失函数收敛不稳定，难以训练，重训练方法难以直接应用。

[0012] 3.gan网络模型的输出为图像，不是逻辑向量输出，知识蒸馏通常针对逻辑向量输出，这导致知识蒸馏方法难以直接应用。