网站建设 投资合作,网站建设及优化,网站建设都需要那些材料,会务网站建设论文探讨了视觉语言模型#xff08;VLMs#xff09;及其在无监督域适应#xff08;UDA#xff09;中的应用#xff0c;并引入了一种名为提示分布对齐#xff08;Prompt-based Distribution Alignment#xff0c;PDA#xff09;的方法#xff0c;该方法采用双分支训练策…论文探讨了视觉语言模型VLMs及其在无监督域适应UDA中的应用并引入了一种名为提示分布对齐Prompt-based Distribution AlignmentPDA的方法该方法采用双分支训练策略包括基础分支和对齐分支。基础分支专注于将类别相关的表示整合到提示中确保不同类别的区分性而为了进一步缩小领域差异对齐分支则构建了源域和目标域的特征库并提出了图像引导的特征调优IFT使输入关注特征库从而有效地将自我增强和跨域特征整合进模型中。这种方法不仅提高了模型的区分能力还缓解了源域和目标域之间的分布偏移。实验结果证明了PDA方法的有效性并且在无监督域适应任务上达到了新的最优性能。 1 提示分布对齐方法
尽管大规模预训练的视觉-语言模型VLMs在各种下游任务中取得了前所未有的成功但在真实世界中的无监督域适应UDA问题尚未得到充分研究。直接使用这些模型面临的挑战在于提示工程它要求对齐源域和目标域的知识这对于UDA的表现至关重要。
如下为两分支提示调优范式 1基础分支旨在将类别相关的表示融入提示中确保不同类别的区分度。 2对齐分支为源域和目标域构建特征库引入图像引导的特征调优IFT使输入能够关注到特征库从而有效地将自我增强和跨域特征整合进模型中。 2 结语
文章介绍了一种名为Prompt-based Distribution Alignment (PDA)的方法通过双分支提示调整范式在无监督域适应中对视觉语言模型进行分布对齐以提高模型的判别能力和减轻源域与目标域之间的分布差距。
论文题目 Prompt-based Distribution Alignment for Unsupervised Domain Adaptation
论文链接 https://arxiv.org/abs/2312.09553
PS: 欢迎大家扫码关注公众号_我们一起在AI的世界中探索前行期待共同进步
