营销网站建设阿凡达,西陆军事新闻最新消息,网站说明页命名,网站备案电话Saturating VS Non-Saturating Loss functions in GANs【GANs】什么是饱和损失函数 Non-Saturating LossFunctionSaturating VS Non-Saturating Loss functions in GANs
饱和Loss
普通GAN loss是生成器希望最小化被判断为假的概率。x取值范围是[0,1]#xff0c;所以图中函数…Saturating VS Non-Saturating Loss functions in GANs【GANs】什么是饱和损失函数 Non-Saturating LossFunctionSaturating VS Non-Saturating Loss functions in GANs
饱和Loss
普通GAN loss是生成器希望最小化被判断为假的概率。x取值范围是[0,1]所以图中函数取值范围是负数。
当训练早期函数取值接近于0梯度较小当训练晚期函数取值接近负无穷梯度过大
笔者认为这就是饱和loss下生成器训练不佳的原因因为我们往往希望在早期提供大一些的梯度到后期模型在接收小一些的梯度微微调整。而饱和Loss基本上在做相反的事情早期梯度小后期梯度大。
非饱和Loss
而log(x)图像如图所示当我们max它的时候是趋向于正无穷大的满足上面的non-saturating条件了。
早期取值靠近0梯度较大后期取值靠近正无穷梯度较小不管x取值多大函数都能提供梯度
这就使得生成器更适合训练。
