免费网站站,平面设计是什么专业学的,网站定制 动易,html5网站后台模板#x1f4dd;个人主页#x1f339;#xff1a;Eternity._ #x1f339;#x1f339;期待您的关注 #x1f339;#x1f339; ❀ 智慧医疗 介绍创新点网络结构特征提取阶段自适应融合阶段图像重建阶段上下文增强模块CEM特征融合模块AFM 结果分析 提示 论文题目#xff1… 个人主页Eternity._ 期待您的关注 ❀ 智慧医疗 介绍创新点网络结构特征提取阶段自适应融合阶段图像重建阶段上下文增强模块CEM特征融合模块AFM 结果分析 提示 论文题目MFAF-Net: image dehazing with multi-level features and adaptive fusion 论文地址https://doi.org/10.1007/s00371-023-02917-8 接下来将详细介绍本方法的结构、原理以及复现 介绍 该论文提出了多层次特征和自适应融合网络MFAF-Net用于单图像去雾。该方法将多尺度膨胀卷积层与特征注意力模块相结合从而能够获取信息丰富的上下文信息。同时该方法提出了一种新的融合方法用于低级和高级特征融合以恢复具有更详细信息的图像。
创新点 此篇论文介绍了一种新颖的特征提取架构称为CEM。该架构由两个核心部分组成一是多尺度膨胀卷积层它负责捕获丰富且多样的上下文特征信息二是特征增强模块FAM该模块从通道维度和像素层面进一步优化和强化了特征表达。 此外论文还创新性地开发了一个融合策略命名为AFM融合模块。此模块专门设计用于整合语义内容与层级结构不一致的特征从而赋予了网络在处理多尺度特征时更高的灵活性和适应性。 本文所涉及的所有资源的获取方式这里 网络结构 该网络的结构如图1所示 图1MFAF-Net的网络结构
特征提取阶段 如图1所示网络的前半部分专注于特征提取。首先利用一个浅层特征提取模块该模块包含一个3×3的卷积层配合ReLU激活函数将输入图像的通道数从3提升至32。接着从F0到F1的转换过程中嵌入了三层上下文增强模块CEM其后紧跟一个3×3的卷积层随后执行一次下采样操作使通道数增加到64。类似地F1到F2的过渡也遵循这一模式三层CEM模块加上一个3×3卷积层再经过下采样通道数跃升至96。特征提取的最终阶段与前两个阶段结构相同即从F2到F3也是通过三层CEM模块和一个3×3卷积层进行处理。在这一部分设计借鉴了残差结构的理念通过对不同层级的输出特征图进行相加构建起了标准的残差连接旨在维持图像分辨率的同时有效减少特征提取环节中关键信息的损失。
自适应融合阶段 如图1所示自适应融合阶段的核心组件为特征融合模块AFM。为了高效整合来自特征提取阶段的特征图信息该论文创新地在相邻两级特征块间嵌入了全新的AFM模块。通过组合一个双线性插值层与一个3×3的卷积层来执行上采样这一过程不仅提升了特征的分辨率还极大地促进了与先前特征图的深度融合与互补。
图像重建阶段 最终该方法利用一层3×3的卷积从浅层特征图里恢复起RGB彩色图像使用Tanh激活函数进一步优化整体的视觉效果最终与输入图像相加利用残差结构来减少图像关键细节的丢失以在保证图像分辨率的同时获得最优的清晰图像的恢复效果。
上下文增强模块CEM 上下文增强模块能够通过具有不同大小卷积核的卷积来充分提取图像不同尺度的特征并进行上下文的聚合并利用特征注意力模块FAM增强结果特征。具体来说由于大的感受野有助于捕获信息丰富的上下文信息因此该模块采用三个卷积层来提取这些特征图卷积核大小分别为 1、3 和 5。CEM的整体结构如图2所示特征图x输入到该模块之后将被分别输入到三个卷积核大小不同的卷积层中具体实现如下
self.conv1 nn.Conv2d(inchannel, outchannel, 1)
self.conv2 nn.Conv2d(inchannel, outchannel, 3, padding1)
self.conv3 nn.Conv2d(inchannel, outchannel, 5, padding2)由于在三层卷积后还要两两相加所以需要注意三层卷积得到的特征图的大小应该相同所以要在实现卷积的时候巧妙利用padding。 注意 比如输入一个大小为3×256×256大小的图像 经过前面的浅层卷积之后此时x特征图的大小应该为32×256×256 经过k1的卷积层之后大小为32×254×254 经过k3的卷积层之后大小为32×252×252 经过k5的卷积层之后大小为32×250×250 三个特征图的大小并不相同若想让三者的大小相同需要利用padding 对k3的卷积层设置padding1则此时特征图大小变为32×254×254 对k5的卷积层设置padding2则此时特征图大小变为32×254×254 此时三个特征图的大小相等所以需要巧妙利用padding实现不同特征图的大小相等以方便后续步骤的进行 在两两相加之后将获得的两张特征图拼接注意拼接之后的图像通道数量从32变成了64所以在实现后面的卷积的时候需要注意输入通道数和输出通道数。
self.conv4 nn.Conv2d(2 * inchannel, outchannel, 3, padding1)最后经过特征注意力模块增强效果之后与该模块的输入X相加得到最终的输出。 图2CEM的结构
特征注意力模块的结构如图3所示。
图3FAM的结构
在该模块中使用Depth-wise卷积和Point-wise卷积来取代传统特征注意力中的普通卷积以进一步增强特征提取能力和上下文特征的理解能力。通过这种独特的设计所提出的FAM能够从通道和像素的角度增强结果的上下文特征Depth-wise和Point-wise的实现如下
self.dw nn.Conv2d(inchannels, outchannels, kernalsize, 1)
self.pw nn.Conv2d(inchannels, outchannels, 1, padding1)特征融合模块AFM 特征融合模块的结构如图4所示。文章里面说设计这个模块的原因是低级和高级特性在本质上是互补的低级特征空间细节丰富而高级特征更倾向于语义信息将它们融合在一起通常有利于图像去雾。 这个模块的结构是将网络前面提取的特征图与网络后面得到的特征图进行融合所以会有两个输入Fl是网络前面部分得到的特征图为低级浅层特征而Fh为网络当前步骤得到的特征图为高级特征两者相加后的结果通过Point-Wise卷积和ReLU激活函数的夹心结构最后利用Sigmoid函数得到低级和高级特征的权重。具体实现方法如下
class AFM(nn.Module):def __init__(self, channels):super(AFM, self).__init__()self.pointwise nn.Conv2d(channels, channels, 1)self.conv1 nn.Conv2d(channels, channels, 3, padding 1)self.relu nn.ReLU(inplaceTrue)self.s nn.Sigmoid()def forward(self, x1, x2):fl x1fh x2fl_1 self.conv1(fl)fl_2 self.pointwise(fl)fL fl_1 fl_2fH self.pointwise(fh)f fL fHweight self.pointwise(f)weight self.relu(weight)weight self.pointwise(weight)weight self.s(weight)fL_1 fL * weightfH_1 fH * (1-weight)out fL_1 fH_1return out这样获得权重的方法与普通的直接为两个特征图赋予权重的方法不同这样可以根据不同的图像来获取不同的权重以实现自适应融合的目的。 图4AFM的结构
结果分析 基于Pytorch框架复现使用显存大小为12.6GB的RTX 3060显卡在O-Haze数据集上跑的模型结果如下第一张为原始模糊图像第二张为该方法恢复的图像第三章为原始清晰图像。可以看到模型效果仍有待提升。附件代码中包括了训练得到的11个模型以及每个模型的测试结果详情见附件。 编程未来从这里启航解锁无限创意让每一行代码都成为你通往成功的阶梯帮助更多人欣赏与学习
更多内容详见这里
