做个网站需要多久,wordpress博客建站,北京小程序开发价格,专业型网站网站论文阅读笔记#xff1a;MambaOut: Do We Really Need Mamba for Vision? 1 背景2 创新点3 方法4 模块4.1 Mamba适合什么任务4.2 视觉识别任务是否有很长的序列4.3 视觉任务是否需要因果token混合模式4.4 关于Mamba对于视觉的必要性假设 5 效果 论文#xff1a;https://arxi… 论文阅读笔记MambaOut: Do We Really Need Mamba for Vision? 1 背景2 创新点3 方法4 模块4.1 Mamba适合什么任务4.2 视觉识别任务是否有很长的序列4.3 视觉任务是否需要因果token混合模式4.4 关于Mamba对于视觉的必要性假设 5 效果 论文https://arxiv.org/pdf/2405.07992
代码https://github.com/yuweihao/MambaOut
1 背景
在现实中基于SSM的视觉模型与最先进的卷积模型和基于注意力的模型相比性能欠佳。这就产生了一个研究问题在视觉中我们是否真的需要Mamba
在本文中作者研究了Mamba的性质并从概念上总结了Mamba适合任务的两个关键特征长序列和自回归这是因为SSM固有的RNN机制。不幸的是同时具备这两种特性的视觉任务不多。例如ImageNet上的图像分类不符合而在COCO上的目标检测和实例分割以及ADE20K上的语义分割只符合长序列。另一方面自回归特性要求每个token仅从之前和当前token中聚合信息这一概念被称为token混合的因果模式。事实上所有的视觉任务都属于理解域而非生成域这意味着模型可以同时看到整幅图像。因此在视觉识别模型中对token混合施加额外的因果约束可能会导致性能下降。虽然该问题可以通过双向分支来缓解但不可避免的是该问题在每个分支内持续存在。
基于以上的概念性讨论作者提出如下两个假设 假设1SSM对于图像分类时没有必要的因为这项任务既不符合长序列特征也不符合自回归特征。 假设2SSM对于目标检测、实例分割以及语义分割可能是有益的因为他们遵循长序列特征尽管他们不是自回归特征。
为了实验假设作者通过堆叠门控CNN块开发了一系列名为MambaOut的模块。Gated CNN和Mamba block的关键区别在于SSM的存在如图1a所示。实验结果表明更简单的MambaOut模型在现实中的表现已经超过了Vision Mamba模型的表现进而验证了假设1。同时MambaOut在检测和分割任务中的表现不足与最先进的视觉Mamba模型相匹配。这强调了SSM在这些任务上的潜力并有效的验证了假设2。
2 创新点 分析了SSM的类RNN机制并从概念上总结出Mamba适用于具有长序列和自回归特性的任务。 考察了视觉任务的特征并假设SSM在ImageNet上进行图像分类时不必要的因为该任务不满足任何一个特征但探索出SSM在检测和分割任务重的潜力仍然是具有价值的。 基于Gated CNN模块开发了一系列名为MambaOut的模型。
3 方法 与ResNet类似MambaOut采用4阶段的分层架构。 D i D_i Di 表示第 i i i 阶段的通道尺寸。其中Gated CNN块与Mamba块的区别在于Gated CNN块中没有SSM (状态空间模型)。
Gated CNN块的代码
4 模块
4.1 Mamba适合什么任务
Mamba的token混合器是选择性SSM它定义了四个与输入相关的参数 ( Δ , A , B , C ) (\Delta,A,B,C) (Δ,A,B,C)并将他们转换为 ( A ‾ , B ‾ , C ) (\overline{A},\overline{B},C) (A,B,C):
SSM的序列到序列的变换可以表示为
其中 t t t 表示时间步长 x t x_t xt 表示输入 h t h_t ht 表示隐藏状态 y t y_t yt 表示输出。方程2的循环性质将类RNN的SSM与因果注意力区分开。隐藏状态 h h h 可以看作是一个固定大小的存储器存储了所有的历史信息通过方程2该记忆在保持大小不变的情况下更新固有的大小意味着存储器与当前输入集成的计算复杂度保持恒定。相反因果注意力存储了来自之前token的所有键值作为他的记忆它通过在每个新输入中添加当前token的键值来扩展这种存储器理论上是无损的然而随着输入的token越来越多内存大小也越来越大。图2进一步说明了类RNN模型和因果注意力在机制上的差异。
由于SSM的记忆本质上是有损的因此在逻辑上不及注意力的无损记忆。因此Mamba无法展示其在处理短序列方面的优势。然而在涉及长序列时注意力会由于其二次复杂度而变得不稳定。这种情况下Mamba可以明显的突出他的效率因此Mamba特别适合处理长序列。
虽然SSM的循环性质方程2使得Mamba可以搞笑的处理长序列但它引入了一个显著的限制 h t h_t ht 只能访问上一时间步和当前时间步的信息。如图3所示这种类型的token混合被称为因果模式可以表述为
其中 x t x_t xt 和 y t y_t yt 分别表示第 t t t 个token的输入和输出。由于其因果性质这种模式非常适合自回归生成任务。
另一种模式称为完全可见模式其中每个token可以聚合所有前序和后序令牌的信息。这意味着每个输出token取决于所有输入token
其中 T T T 表示token总数。完全可见模式适用于理解任务其中所有输入都可以被模型一次性访问。
注意力默认处于完全可见模式但通过在注意力图中应用因果掩码注意力很容易转变为因果模式。类RNN模型由于其循环特性本质上是因果模式。由于这种固有特性类RNN模型无法转化为完全课件模式。虽然使用双向分支可以近似一个完全可见的模式但每个分支仍然单独地保持因果关系。因此Mamba由于其循环属性的固有限制非常适合于需要因果token混合的任务。
综上所述Mamba非常适合表现出以下特征的任务 特征1任务涉及处理长序列 特征2任务需要因果token混合模式
4.2 视觉识别任务是否有很长的序列
考虑一个Transformer模块其公共MLP比例为4假设其输入 X ∈ R L × D X∈R^{L×D} X∈RL×D 的令牌长度为 L L L 通道维数为 D D D 则该块的FLOPs可计算为
由此推导出了 L L L 的二次项与线性项的比值
当 L 6 D L 6D L6D 时 L L L 中二次项的计算量超过线性项的计算量。这为判断任务是否涉及长序列提供了一个简单的衡量标准。例如在ViT - S的384个通道中阈值 τ s m a l l 6 × 384 2304 \tau_{small} 6 × 384 2304 τsmall6×3842304在ViT - B的768个通道中阈值 τ b a s e 6 × 768 4608 \tau_{base} 6 × 768 4608 τbase6×7684608。
对于ImageNet上的图像分类典型的输入图像大小为 22 4 2 224^2 2242产生 1 4 2 196 14^2196 142196 个 token块大小为 1 6 2 16^2 162。显然 196远小于 τ s m a l l \tau_{small} τsmall 和 τ b a s e \tau_{base} τbase这表明ImageNet上的图像分类不适合作为长序列任务。
对于COCO上的目标检测和实例分割其推理长度为 800 × 1280对于ADE20K上的语义分割其推理图像大小为512 × 2048token数量约为4K给定块大小为 1 6 2 16^2 162。由于 4 K τ s m a l l 4K τ_{small} 4Kτsmall 和 4 K ≈ τ b a s e 4K≈τ_{base} 4K≈τbaseCOCO上的检测和ADE20K上的分割都可以被认为是长序列任务。
4.3 视觉任务是否需要因果token混合模式
如图3所示完全可见的token混合模式允许不受限制的混合范围而因果模式则限制当前token只能从前一个token中获取信息。视觉识别被归类为理解任务其中模型可以一次性看到整个图像从而消除了对标记混合的限制。对token混合施加额外的约束可能会降低模型性能。如图3 ( b )所示当对ViT施加因果限制时观察到性能显著下降。 一般而言完全可见模式适合于理解任务而因果模式更适合于自回归任务。这一说法也可以通过观察得到证实BERT和ViT( BEiT 和MAE )比GPT-1/2和图像GPT更多地用于理解任务。因此视觉识别任务不需要因果标记混合模式。
4.4 关于Mamba对于视觉的必要性假设
基于前面的讨论作者总结了关于在视觉识别任务中引入Mamba的必要性的假设如下 假设1不需要在ImageNet上引入SSM进行图像分类因为该任务不满足特征1或特征2。 假设2尽管这些任务不满足特征2但仍然值得进一步探索SSM在视觉检测和分割中的潜力因为这些任务符合特征1。
5 效果
在图像分类上的效果。
在目标检测和实例分割上的效果。
在语义分割上的效果。
