广告网站模板下载不了,怎么做网站的ico,网站建设白云,手机怎么自己制作网页当前的问题
CLIP-Adapter仅单独调整图像和文本嵌入#xff0c;忽略了不同模态之间的交互作用。此外#xff0c;适应性参数容易过拟合训练数据#xff0c;导致新任务泛化能力的损失。
动机 图1所示。多模态适配器说明。
通过一种基于注意力的 Adapter #xff0c;作者称之…当前的问题
CLIP-Adapter仅单独调整图像和文本嵌入忽略了不同模态之间的交互作用。此外适应性参数容易过拟合训练数据导致新任务泛化能力的损失。
动机 图1所示。多模态适配器说明。
通过一种基于注意力的 Adapter 作者称之为多模态 Adapter 图1通过整合它们的信息共同调整文本和图像特征导致更全面的适配。此外适配是针对特定任务的有效地利用每个任务的视觉和文本信息。这使得模型能够更有效地避免在训练任务上过拟合从而在未见过的任务上获得更好的泛化能力。
方法
多模态 Adapter 包括三个不同的部分一个嵌入降采样器、一个 Mask 多头注意力网络以及两个带有非线性激活函数的线性层。
维度下采样
在 Adapter 中使用了多头注意力层来聚合多模态信息。然而多头注意力层可能会给网络引入参数昂贵的操作尤其是当嵌入维度较大时例如原始CLIP的嵌入维度 ( C Emb ) 512 (\text{C}_{\text{Emb}})512 (CEmb)512。为了降低可训练参数的数量作者在注意力层之前在CLIP嵌入上引入了一个维度下采样器。下采样器由一个线性层 D ( ⋅ ) D(\cdot) D(⋅)组成该层降低嵌入维度。最后多头注意力层的输入通过 D ( ⋅ ) D(\cdot) D(⋅)传递其中 W D ∈ R C Emb × C Emb / 4 W_D\in \mathbb{R}^{\text{C}_{\text{Emb}}\times \text{C}_{\text{Emb}}/4} WD∈RCEmb×CEmb/4 。
每个图像样本创建多头注意 ( MHA ( ⋅ ) ) (\text{MHA}(\cdot)) (MHA(⋅))输入。提示符 Emb text \text{Emb}_{\text{text}} Embtext的文本嵌入和视觉输入 Emb image \text{Emb}_{\text{image}} Embimage的图像嵌入被连接成一个序列 其中 Input MHA ∈ R ( N c l a s s e s 1 ) × N B a t c h × E N \text{Input}_{\text{MHA}}\in \mathbb{R}^{(N^{classes}1)\times N^{Batch}\times E_N} InputMHA∈R(Nclasses1)×NBatch×EN。其中 N c l a s s e s 1 N^{classes}1 Nclasses1表示类文本嵌入和一个图像嵌入的数量之和图2 E N E_N EN表示嵌入的维数。 图2所示。 Input MHA \text{Input}_{\text{MHA}} InputMHA的插图。文本表示与视觉表示串联成一个序列通过掩模多头注意网络传递。
Mask 多头注意力
在维度下采样后通过多头注意力层聚合潜在表示。为了区分多头注意力层的文本和图像输入使用注意力 Mask 来调整每个模态内的信息交互。**使用“0”表示正向交互“-∞”表示负向交互。**因此**每个文本嵌入仅由相应的图像信息调整而部分忽略其他文本嵌入中的信息。图像嵌入也是如此。**给定 P P P个 Prompt 和 I I I个图像 T P I TPI TPI总元素数。 、
me图示如下 其中 i i i表示行取值范围为 0 ∼ T − 1 0\sim T-1 0∼T−1 j j j表示列取值范围为 0 ∼ T − 1 0\sim T-1 0∼T−1。
掩码计算完成后通过求和运算将掩码应用到多头注意力网络中 多模态 Adapter
随后MHA的输出经过两个线性上采样层 U 1 ( ⋅ ) , U 2 ( ⋅ ) U_1(\cdot),U_2(\cdot) U1(⋅),U2(⋅)其间使用GELU其中 W U 1 ∈ R C Emb / 4 × C Emb / 16 , W U 2 ∈ R C Emb / 16 × C Emb W_{U1}\in \mathbb{R}^{\text{C}_{\text{Emb}/4}\times \text{C}_{\text{Emb}}/16},W_{U2}\in \mathbb{R}^{\text{C}_{\text{Emb}}/16 \times \text{C}_{\text{Emb}}} WU1∈RCEmb/4×CEmb/16,WU2∈RCEmb/16×CEmb
总之我们完成了多模态适配器 实验结果 参考资料
论文下载(arxiv,3 Sep 2024)
https://www.arxiv.org/abs/2409.02958 代码地址
https://github.com/dqmis/clip-mma
参考文章
https://mp.weixin.qq.com/s/VP4R9-ZYSohwxdY9W3xJQg
