域名网站是什么,做网站排在前十名要多少钱,如何做网销,vps设置网站访问用户权限分割标签耗时且贵#xff0c;所以常常使用预训练提高分割模型标签有效性#xff0c;反正就是#xff0c;需要一个预训练分割模型。典型的分割模型encoder部分通过分类任务预训练#xff0c;decoder部分参数随机初始化。作者认为这个方法次优#xff0c;尤其标签比较少的情…分割标签耗时且贵所以常常使用预训练提高分割模型标签有效性反正就是需要一个预训练分割模型。典型的分割模型encoder部分通过分类任务预训练decoder部分参数随机初始化。作者认为这个方法次优尤其标签比较少的情况。 于是提出可以和监督学习encoder结合的基于去噪denoising的decoder预训练方法。当标签少的时候这个方法表现很好超过监督学习。 所以整个方法就是encoder在ImageNet-21k上预训练然后冻结encoder参数再在ImageNet-21k预训练decoder参数不需要使用标签。然后在特定数据集上统一微调encoder和decoder。
架构 标准的去噪公式是 也就是预测原始图片x。
但是扩散模型预测的是噪声 于是做实验看预测哪个比较好 所以预测噪声。
所以上述说明本文的方法是一个无监督、去噪的方法。
无监督的预训练方法最终受到预训练目标所学习的表示与最终目标任务所需的表示之间不匹配的限制。对于任何无监督目标一个重要的“健全性检查”是它不会很快达到这个极限以确保它与目标任务很好地一致。增大预训练计算预算应该是训练迭代多一些可以提高表示能力。说明去噪是一种可扩展的方法增大预训练计算预算表示能力提高。 和监督训练相比数据多的时候不如监督预训练少的时候超过。 噪声的影响
去噪预训练的解码器一个很重要的超参数是噪声的大小。噪声方差必须足够大这样网络才能学习到有意义的表示从而去除噪声但不能太大导致干净图像和有噪声图像之间的过度分布偏移。
可伸缩的加性噪声Scaled Additive Noise性能好于简单加性噪声Simple Additive Noise。
简单加性噪声
可伸缩加性噪声 从图上看论文给出的最好的噪声大小是0.22 encoder部分在ImageNet-21K数据集做分类任务预训练然后固定参数。
单独预训练去噪decoder。原则上任何一个数据集都能进行去噪预训练但是会有这样的担心即预训练数据和目标数据之间分布的变化可能会影响目标任务的性能。为了验证这种担心作者在几个数据集上预训练了decoder,而encoder都是ImageNet-21K数据集做分类任务预训练参数固定。最后发现还是在ImageNet-21K预训练的decoder效果最好。这个结论也适用于和ImageNet-21K数据集分布不同的Cityscapes数据集因此用DDeP预训练的模型可以用于很多其他数据集。 上面这些预训练目标的选择也就是预测噪声而不是x和噪声的选择等和扩散模型很相似这样自然就会产生一个问题即如果使用完全的扩散模型预训练是不是提高性能。结果是用DDPM方法预训练没有提高性能。 前面提到的噪声大小的γ在我们的模型是一个定值也就是相当于扩散模型的一步PPDM是一个完全的扩散模型它每一个训练例子中都从[0,1]中随机均匀选一个γ值。于是作者试验了随机选择γ但是效果不如固定的γ。 实验部分
微调设置cross-entropy loss Adam with a cosine learning rate decay schedulea batch size of 512 and train for 100 epochslearning rate is 6e−5 for the 1× and 3× width decoders, and 1e−4 for the 2× width decoder
random cropping and random left-right flipping1024 × 1024 for Cityscapes and 512×512 for ADE20K and Pascal ContextAll of the decoder denoising pretraining runs are conducted at a 224 × 224 resolution。
inference on Cityscapesapply horizontal flip and average the results for each halfFor Pascal Context and ADE20K, we also use multi-scale evaluation with rescaled versions of the image in addition to the horizontal flips. The scaling factors used are (0.5, 0.75, 1.0, 1.25, 1.5, 1.75)。 结果 上面这些结果使用的是TransUNet下面标准UNet 说明这个方法可以泛化到其他不是transformer architectures的结构即backbone-agnostic。
