怀安网站制作,怎嘛做网站,wordpress更换域名更改数据库,青柠影视免费观看电视剧高清西瓜原文链接
A Closer Look at Few-shot Classification Again
摘要
这篇文章主要探讨了在少样本图像分类问题中#xff0c;training algorithm 和 adaptation algorithm的相关性问题。给出了training algorithm和adaptation algorithm是完全不想关的#xff0c;这意味着我们…原文链接
A Closer Look at Few-shot Classification Again
摘要
这篇文章主要探讨了在少样本图像分类问题中training algorithm 和 adaptation algorithm的相关性问题。给出了training algorithm和adaptation algorithm是完全不想关的这意味着我们在设计少样本学习算法时可以分别设计模型的training阶段和adaptation阶段。同时文章也在训练集规模、监督学习和自监督学习在少样本学习中的性能、以及标准finetune在少样本图像分类adaptation阶段对模型影响的问题。
Training 和 Adaptation 算法完全不相关 如图行为training算法列为adaptation算法。对于行表示的是不论采用什么样的training算法adaptation算法对应的性能偏序关系都是一样的对于列表示的是不论采用什么样的adaptation算法training算法对于的性能偏序关系都一样。实验说明两个算法是完全不想关的因此对于未来更优模型的研究我们可以分别设计training和adaptation阶段的算法。
training阶段让模型“看到”更多的类使得模型更能适应新类别 如图在训练算法和适应算法不变的情况下对十种不同的训练集进行adaptation。如Figure12所示training阶段增加训练的class数量对性能的提升比增加sample的数量更加高效。
自监督学习在少样本图像分类中表现优于监督学习 Figure3每一个点表示的是监督学习模型Figure4每一个点表示自监督学习模型。Figure3所示监督学习在性能更好的模型下通过少样本的调整后性能反而效果不佳这说明性能更优的监督模型一定程度上在训练集上过拟合了。
反观自监督学习自监督学习模型本身的性能和通过少样本微调过后的性能基本呈现线性关系因此可以说在少样本图像分类问题中将自监督学习作为backbone网络优于将监督学习作为backbone网络。
training阶段增加sample数量对性能的提升优于增加class数量 可以看到如果固定Support set size不同的class数量对性能的影响较小。而增加support set size对于性能的影响较大。
vanilla Finetune效果最好
与之前的一些研究得出的在少样本上Finetune会导致模型的过拟合不同本文通过实验反而表明Vanilla Finetune反而带来最佳性能并且backbone和linear head采用不同的learning rate效果更优。
讨论
文章分析得出一味的增加训练数据规模并不是一劳永逸的解决方法我们可以多关注训练知识和调整所需的知识的对齐。如何不像finetune那样暴力的自适应算法用一种更加精准的对模型进行微调的方法是我们未来可以研究的一点。
