苏州园区建设网站首页,深圳seo优化推广,深圳龙岗有什么好玩的地方,百度官方网站网址是多少Task#xff1a; 1.通道注意力模块复习 2.空间注意力模块 3.CBAM的定义
1. 通道注意力模块#xff08;Channel Attention Module#xff09;
目的#xff1a;动态调整各通道的权重#xff0c;突出重要特征通道#xff0c;抑制不相关信息。结构#xff1a; 双路池化 1.通道注意力模块复习 2.空间注意力模块 3.CBAM的定义
1. 通道注意力模块Channel Attention Module
目的动态调整各通道的权重突出重要特征通道抑制不相关信息。结构 双路池化对输入特征图分别进行全局平均池化GAP和全局最大池化GMP得到两个1×1×C的向量。共享MLP将两个向量输入共享的全连接网络MLP结构为 C → C/r → Cr为缩减比例如16使用ReLU激活中间层。融合权重将MLP的输出相加后通过Sigmoid函数生成通道权重矩阵 ( M_c )。特征调整将权重 ( M_c ) 与输入特征图逐通道相乘增强关键通道。
2. 空间注意力模块Spatial Attention Module
目的关注特征图的重要空间区域忽略无关区域。结构 跨通道池化沿通道维度分别进行平均池化和最大池化得到两个H×W×1的特征图。特征拼接将两个结果拼接为H×W×2的特征图。卷积处理应用7×7卷积输出通道为1融合空间信息生成空间权重矩阵 ( M_s )。Sigmoid激活对卷积结果使用Sigmoid函数得到空间权重。特征调整将权重 ( M_s ) 与输入特征图逐位置相乘强化重要区域。
3. CBAMConvolutional Block Attention Module
定义串联通道注意力和空间注意力的轻量级模块顺序为 通道→空间。流程 输入特征图 ( F )形状H×W×C。通道调整( F’ M_c(F) \otimes F )( \otimes ) 为逐通道乘。空间调整( F’’ M_s(F’) \otimes F’ )。 优点 即插即用可嵌入CNN的任意位置如ResNet块后。轻量化参数少计算开销低性能提升显著。双维度聚焦通道与空间注意力互补增强特征判别力。
示例CBAM嵌入ResNet
步骤在ResNet的残差块中卷积层后接CBAM模块。class CBAMResBlock(nn.Module):def __init__(self, in_channels, reduction_ratio16):super().__init__()self.conv_layers ... # 原有卷积层self.cbam CBAM(in_channels, reduction_ratio)def forward(self, x):residual xx self.conv_layers(x)x self.cbam(x)x residual # 残差连接return x关键点总结
通道注意力综合GAP与GMPMLP共享参数生成通道权重。空间注意力跨通道池化拼接大卷积核捕捉空间上下文。CBAM顺序先通道后空间实验验证顺序有效性。应用效果提升分类、检测等任务的精度如ImageNet上ResNet-50的Top-1准确率提升约1-2%。
CBAM通过简洁的双注意力机制实现了对特征图通道与空间维度的自适应优化成为计算机视觉模型的常用增强模块。
