网站缓存优化怎么做,外贸网站建设盲区,网站运营的含义,中国企业500强前十为什么 GAN 不好训练#xff1f;先看 GAN 的损失#xff1a; 当生成器固定时#xff0c;堆D(x)求导#xff0c;推理得到#xff08;加号右边先对log求导#xff0c;再对负项求导#xff09; 然后在面对最优Discriminator时#xff0c;Generator的优化目标就变成了… 为什么 GAN 不好训练先看 GAN 的损失 当生成器固定时堆D(x)求导推理得到加号右边先对log求导再对负项求导 然后在面对最优Discriminator时Generator的优化目标就变成了 上式可以变成 也就是说如果把Discriminator训练到极致那么整个GAN的训练目标就成了最小化真实数据分布与合成数据分布之间的JS散度。。。 考虑如下二维空间中的两个分布P1和P2P1在线段AB上均匀分布P2在线段CD上均匀分布通过控制参数θ可以控制着两个分布的距离远近。则 此时JS散度值为常数无法传递梯度梯度消失了。也就是说如果Discriminator训练得太好Generator就无法得到足够的梯度继续优化而如果Discriminator训练得太弱指示作用不显著同样不能让Generator进行有效的学习。这样一来Discriminator的训练火候就非常难把控这就是GAN训练难的根源。 实际上JS散度出现为常数的概率非常大当数据分布类似高维空间中的低维流形如下图时虽然数据分布处理三维空间本质展开是个二维平面。 除此之外 GAN 的训练过程中生成器和判别器的loss无法指示进程也就是说我们无法通过生成器与判别器的loss来判断我们生成的图像是否到达了我们所满意的情况。只能通过显示训练图像自行感受训练程度。生成样本缺乏多样性。容易产生模型崩坏即生成的图像中有着大量的重复图像。
