机票虚拟订单生成器_ICCV 2019：华为、北大等首创GAN剪枝算法，线上加速 3 倍以上

新智元专栏

[新智元简介]华为诺亚方舟实验室的最新研究首次提出了一种在GAN中生成网络的剪枝算法。在图像迁移任务中，在保持迁移效果的同时，网络参数和计算量可以压缩四倍以上，并且测量的推断时间可以压缩三倍以上。本论文已被ICCV 2019所采用。随着手机等智能终端的广泛普及，基于移动终端的图像风格迁移和人像渲染等应用有着广泛的需求，在智能相机、移动社交网络、虚拟服装等领域有着巨大的应用前景生成的对策神经网络在图像风格传递和人脸属性控制等任务中取得了良好的效果。然而，由于生成模型的输出结果和优化目标的特性，模型通常需要很大的内存，运行这些模型需要很大的计算开销。通常，它们只能在GPU平台上运行，不能直接迁移到移动端。然而，现有的神经网络压缩算法都是为判别神经网络模型设计的，直接应用于生成的网络时，无法获得满意的压缩结果华为诺亚方舟实验室的论文《不成对图像翻译的协同进化压缩》被ICCV 2019采用。本文首次提出了一种在氮化镓中生成网络的剪枝算法。在图像迁移任务中，在保持迁移效果的同时，可以将网络参数量和计算量压缩四倍以上，并且将测量的推断时间压缩三倍以上。

纸地址:https://arxiv.org/abs/1907.10804
开源地址:https://github.com/huawei-noah/GAN-pruning生成模型参数冗余建模对于生成模型，网络输出是高维生成图像。很难从这些图像中直接量化和评估压缩模型的质量。借鉴传统剪枝算法，可以直接最小化压缩生成模型前后的重构误差，得到压缩模型。可以定义为发生器感知误差，直接优化公式1可以使压缩发生器和原始发生器尽可能接近像素，但在图像风格迁移任务中没有必要例如，“斑马”，无论是有5条还是8条白色条纹，都可以被视为成功的风格转移，但公式1中反映的差异可能非常大。因此，优化公式1不能精确地消除样式转换任务中的参数冗余虽然在推理阶段通常不使用鉴别器，但是鉴别器包含了重要的信息来鉴别图像域，因此本文提出了鉴别器感知损失来拉动发生器的压缩过程。

是原始网络中的鉴别器与公式1相比，公式2不直接关注像素级压缩前后生成器模型的相似性，而是通过鉴别器更加关注压缩前后样式的一致性，这是压缩生成器更好的优化方向。对于两个图像域的相互转换，循环一致性误差的重要性也在许多论文中得到证明，因此它也是压缩发生器的一个重要优化方向。

所以一般来说，压缩生成的网络的目标函数如下:它代表网络的参数量，用于平衡网络的参数量和压缩模型之间的误差对于两个图像域的转换，两个生成器通常具有相同的网络结构和参数量。如果只优化一台发电机，网络训练过程将会不稳定。因此，建议同时优化两台发电机，这样也可以节省计算时间和资源。

共同进化压缩考虑到生成的网络中的每个信道对最终输出结果的影响无法精确计算，采用进化算法对网络进行全局二进制编码。如图1所示，用一个种群分别保持两个对称的发生器，将发生器a种群适应值最高的个体与发生器b种群一起训练，选择b组适应值最高的个体，然后训练a的下一代种群，依此类推，进行协同交替压缩，最终得到两个压缩的发生器，算法流程如图1所示

图1共同进化交替迭代，最后获得两个压缩模型更新:压缩模型由一串固定长度的二进制代码表示，代码的每个比特表示网络的每个信道，如公式6所示这意味着在网络中生成第1层的信道代码，并且意味着删除第n个卷积信道，否则它将被保留。

使用等式7表示网络压缩后的参数量< br>

因此，在进化算法中，压缩个体的适应值可以通过公式8: -7来计算-在定义适应值的计算规则之后，进化算法用于多代进化，并且可以选择具有较高适应值的个体。对于每个压缩生成器的结构，首先将10%的训练数据集用于训练，然后在验证集上计算适应度值。根据群体中的适应值，可以给个人一个选择概率。通过轮盘赌算法，通过前一代种群的选择、交叉和变异，可以获得下一代个体。更新:就像维持一个种群一样，也可以通过进化算法选择最适合的个体。然而，从等式8可以看出，循环一致性误差的计算同时涉及两个生成器，因此对于和分别对于，同时保持一个总体。具体来说，在t迭代中，利用t-1迭代中具有最佳适应值的群体训练获得具有最佳适应值的适应值，然后利用具有最佳适应值的适应值和群体训练获得t迭代中群体的适应值

算法1:共同进化算法流程的实验结果为了说明算法的有效性，我们在马2斑马、夏季2 inter和城市景观三个数据集上进行了大量实验。超参数影响:对平衡参数量和损失的超参数γ进行了实验。如图2所示，大的γ使得压缩比更低，但是风格传递效果更好。

消融实验:在实验数据和超参数相同的情况下，我们比较了不同进化策略和优化目标的效果，如下图3所示(a)是传统修剪方法的结果，(c)采用与传统修剪最小重构误差相似的生成器感知误差，(b)和(d)采用本文提出的鉴别器感知误差，其中(b)是单独优化一个生成器的结果，以及(d)是通过采用协作策略同时优化两个生成器的结果

与传统修剪方法相比:表2和表3分别列出了压缩前后三个数据集的传统修剪方法和文中提出的修剪方法的量化结果FCN分数用于城市景观数据集，FID分数用于马2斑马和夏季2 inter数据集。该方法的结果与压缩前的模型比较接近，远远优于传统的剪枝方法。

12-压缩结果:表1显示了三个数据集的压缩结果。本文提出的算法可以获得约4倍于参数量和计算量的压缩。在运行时，在麒麟980芯片上，推理时间从6.8秒压缩到2.1秒-13张纸地址:

销售什么行业最赚钱_什么样的手相财运线最赚钱机票虚拟订单生成器_陆客严重萎缩，春节高峰期前，远东航空撑不下去了