龙里县建设局管方网站,dedecms网站地图,网络维护培训班,wordpress+淘客代码[2] Denoising Diffusion Probabilistic Models 作者#xff1a;Jonathan Ho Ajay Jain Pieter Abbeel 单位#xff1a;加州大学伯克利分校
摘要#xff1a; 我们提出了高质量的图像合成结果使用扩散概率模型#xff0c;一类潜变量模型从非平衡热力学的考虑启发。我们的最… [2] Denoising Diffusion Probabilistic Models 作者Jonathan Ho Ajay Jain Pieter Abbeel 单位加州大学伯克利分校
摘要 我们提出了高质量的图像合成结果使用扩散概率模型一类潜变量模型从非平衡热力学的考虑启发。我们的最佳结果是通过根据扩散概率模型和与Langevin动力学匹配的去噪分数之间的一种新的联系设计的加权变分界进行训练得到的并且我们的模型自然地承认一个渐进的有损解压方案可以解释为自回归解码的一个推广。在无条件的CIFAR10数据集上我们获得了9.46的Inception分数和3.17的最先进的FID分数。在256x256LSUN上我们得到了与ProgressiveGAN类似的样本质量。
主要贡献 我们表明扩散模型实际上能够生成高质量的样本有时比其他类型的生成模型的发布结果更好。此外我们证明了扩散模型的某种参数化揭示了与训练过程中多个噪声水平上的去噪分数匹配以及采样过程中退火朗之万动力学的等价性。我们使用这个参数化得到了我们最好的样本质量结果。
创新点 为了指导我们的选择我们在扩散模型和去噪得分匹配之间建立了一个新的显式联系从而得到了一个简化的、加权的扩散模型变分界限目标。我们忽略了前向过程方差β t可以通过重新参数化学习的事实而是将它们固定为常量。因此在我们的实现中近似后验q没有可学习的参数因此LT在训练过程中是一个常数可以忽略。 简介 近年来各种深度生成模型在各种数据模态中都展示了高质量的样本。生成式对抗网络( GAN )、自回归模型、流和变分自编码器( VAEs )合成了引人注目的图像和音频样本并且在基于能量的建模和得分匹配方面取得了显著进展产生了与GAN 相当的图像。本文介绍了扩散概率模型的研究进展。
框图 [2] Ho, J., Jain, A., Abbeel, P. (2020). Denoising diffusion probabilistic models. In Proceedings of the 34th Conference on Neural Information Processing Systems (NeurIPS 2020). 采样过程差不多是x→A→B→C→z*σμ x代表输入的数据有可能是随机数的个数和范围通过A输出相应的随机数数据这些随机数通过B函数的处理得到符合N0,1的数据然后这些数据再经过参数重整化得到最终数据。这样做的好处就是把数据和σ、μ结合起来使得能够接入到网络中。
说一下扩散模型的两个过程 一 扩散过程 对于一个初始数据的概率分布q(x)我们从这个概率分布中采样一些数据记作x0。然后我们在T个轮次中不断向其加入高斯噪声其实加入高斯噪声指的就是对于每一步的xt对其参数重整化也就是说让xt*σμ当然这里的σ和μ都不是一个简单的值使得经过处理之后的xt符合相应的高斯分布使得最终的xT变成了一个各向独立的高斯分布。 通过上述的一个公式推导能得到什么样的信息①对于每一个轮次或者说是时刻的xt都能够算出来因为 是和β有关的一个项而β是初始给出的参数。x0也是初始数据z是每次从N0,1采样出来的数据这些都是可获得的所以xt能得到。②因为qxt|x0是知道的所以qxt|x0*q(x0)这个式子对x0求积分得到的是q(xt)的概率分布而我们想要使得最终的分布是各向独立的高斯分布只需令此时的分布均值为0方差为1就行了。 二逆扩散过程 通过一系列的公式推导我们最终得到xt-1的公式最终可以得到x0的结果。 前面的扩散过程已经解释清楚了然后对于训练过程就是让一个神经网络使得Lsimple这个公式的值最小也就是说对于每一步都要使得预测的噪声与真实噪声的差异最小对于每一轮都要训练完。 最后的逆扩散过程就是从N0,1中随机采样出xT对于T个轮次从N0,1随机采样出z然后带入公式逐步得到x0. 之前对扩散模型的运行流程存在一些错误现在解释一下正确的运行步骤 从q(x)中采样x0,作为初始数据开始加噪声那么怎么加呢从标准正太分布中采样得到z1给出β1的值对x0进行参数重整化得到x1的值形式上来看就是x1x0噪声然后向参数网络中输入x0t等数据进行网络训练使得所输出的预测噪声尽量和加入的噪声z1有较小的差距一边扩散一边训练参数网络直到结束。然后在逆扩散过程中xt-1根据参数网络预测的各个噪声逐步算出直到算出x0产生最终结果。
