h5商城网站建站,wordpress yootheme,网站内容建设要求age06,湖南常德红网百姓呼声Frequency-aware Feature Fusion for Dense Image Prediction
用于密集图像预测的频率感知特征融合
Abstract#xff1a;密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点#xff0c;现代分层模型通常利用特征融合#xff0c;直接添加…Frequency-aware Feature Fusion for Dense Image Prediction
用于密集图像预测的频率感知特征融合
Abstract密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点现代分层模型通常利用特征融合直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中我们观察到融合特征值在对象内的快速变化由于高频特征的干扰导致类别内不一致。此外融合特征中模糊的边界缺乏准确的高频导致边界位移。基于这些观察结果我们提出了频率感知特征融合FreqFusion集成了自适应低通滤波器ALPF发生器偏移发生器和自适应高通滤波器AHPF发生器。ALPF生成器预测空间变化的低通滤波器以衰减对象内的高频组件减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。综合可视化和定量分析表明FreqFusion有效地提高了特征一致性和清晰的目标边界。在各种密集预测任务中进行的大量实验证实了其有效性。该代码可在https://github.com/ying-fu/FreqFusion上公开获取
关键词特征融合、特征上采样、密集预测、语义分割、目标检测、实例分割、全景分割
在本文中我们观察到对象内部特征值存在快速变化或变化即特征中的高频扰动导致类别内相似度[11]较低从而导致类别内不一致。此外模糊的边界缺乏准确的高频导致边界位移如图1所示。
基于这些观察结果我们提出了频率感知特征融合FreqFusion一种在特征融合过程中增强特征的方法。FreqFusion由三个关键组件组成自适应低通滤波器ALPF发生器偏移发生器和自适应高通滤波器AHPF发生器。ALPF生成器预测空间变化的低通滤波器旨在通过衰减对象内的高频成分和平滑上采样期间的特征来减少类内不一致性。偏移量生成器预测偏移量以重新采样特征像素并用附近具有高类别内相似性的特征替换低类别内相似性的特征从而精炼内部和边界。AHPF发生器从下采样后无法恢复的低层特征中提取高频细节从而更准确地描绘边界。这三个组件协同工作以恢复具有一致类别信息和明确边界的融合特征。
具体来说ALPF生成器使用低通滤波器平滑和上采样粗的高级特征从而减少像素值之间的差异最大限度地减少特征不一致。为了防止边界模糊受[26]的启发它为每个上采样特征坐标预测空间变化的低通滤波器而不是使用传统插值[27]中的固定核。通过特征相似性分析我们发现使用空间变化低通滤波器的平滑特征可以很大程度上减少整体特征的不一致性。它增加了类内相似度导致了更高的相似裕度从而增强了特征的一致性和区别性。因此它有利于密集的预测任务。
虽然ALPF生成器使用光滑特征增加了整体的类别内相似性但它可能不擅长校正大面积的不一致特征或精细边界。
扩大低通滤波器的尺寸有利于处理大面积不一致的特征但可能不利于薄区域和边界区域。相反减小低通滤波器的尺寸有利于薄区域和边界区域但阻碍了具有不一致特征的大面积的校正。为了解决这一矛盾我们引入了偏移发生器。其动机是观察到低类别内相似度的特征往往有高类别内相似度的邻居如图1所示。偏移量生成器首先计算局部相似度然后预测高相似度方向的偏移量用于重采样。该方法允许重新采样具有高类别内相似度的特征以取代具有低类别内相似度的特征。因此偏移发生器可以在大面积和薄边界区域中校正不一致的特征。
虽然ALPF生成器和偏移量生成器可以有效地恢复上采样的高级特征具有较高的类内一致性和精细的边界但下采样过程中丢失的低级特征的详细边界信息不能完全恢复到高级特征中。根据奈奎斯特-香农采样定理[28][29]在下采样过程中高于奈奎斯特频率的频率相当于采样率的一半会永久丢失。例如在2倍下采样操作期间高于1/4的频率会发生混叠例如步长为2的1×1卷积层的采样率为12。为了解决这一限制我们引入了AHPF生成器它通过预测和应用空间变化的高通滤波器来提取详细的边界信息从而增强奈奎斯特频率以上的高频功率并锐化边界。频率分析证明了高频功率的改进导致更精细的可视化密集预测结果。
文章主要贡献
我们确定了广泛使用的标准特征融合技术中存在的两个重要问题类别内不一致和边界位移。我们还引入了特征相似度分析来定量测量这些问题这不仅有助于新的特征融合方法的发展而且有可能激发相关领域乃至其他领域的进步。我们提出了FreqFusion它通过使用空间变化的低通滤波器自适应平滑高级特征重新采样附近的类别一致特征以取代高级特征中的不一致特征并增强低级特征的高频来解决类别不一致和边界位移问题。定性和定量结果表明FreqFusion增加了类别内的相似性和相似性边际从而在各种任务包括语义分割、对象检测、实例分割和全景分割中取得了一致和相当大的改进
频率感知特征融合
在本节中我们将介绍FreqFusion如图3所示。
它由三个基本组件组成自适应低通滤波器ALPF发生器、偏移量发生器和自适应高通滤波器AHPF发生器如图4所示。
FreqFusion经过两个主要阶段即初始融合和最终融合。在最后的融合步骤之前有必要压缩和融合低级和高级特征作为三个生成器的输入以确保最后融合阶段的效率。我们首先介绍如何增强初始融合阐明其在FreqFusion框架中的意义。
随后我们详细介绍了三个发电机的功能从而全面了解了它们在聚变过程中的作用。
4.1 FreqFusion概述
我们首先介绍了广泛使用的标准特征融合方法然后概述了FreqFusion的设计。
标准特征融合。一般来说常见的特征融合方式可以表示为 式中Xl∈R C×2H×2W Yl1∈R C×H×W分别代表骨架生成的第l个特征和第l层融合特征。我们假设它们有相同数量的频道如果不是一个简单的投影函数如1 × 1卷积可以确保这个[16]我们省略了它。F UP表示上采样例如2倍最近邻或双线性插值[16][17]。
虽然被广泛使用但这种直接的特征融合方法存在两个不利影响密集预测的问题即类别内不一致和边界位移。标准的融合不足以纠正这些不一致的特征而简单的插值甚至可能通过将单个不一致的特征升级到多个不一致的像素而使问题恶化。此外正如之前的各种工作[2][22][65]所观察到的那样简单插值的输出往往倾向于过度平滑导致边界位移。此外底层特征的详细边界信息没有得到充分利用。
FreqFusion的设计。如图3所示提出的FreqFusion可以正式表示为 式中F LP表示ALPF生成器预测的低通滤波器u, v表示偏移生成器预测的对i, j处特征坐标的偏移值F HP分别表示AHPF生成器预测的高通滤波器。
他们通过使用空间变化的低通滤波器自适应平滑高级特征重新采样附近的类别一致特征以取代高级特征中的不一致特征并增强低级特征的高频边界细节来解决类别不一致和边界位移问题。
为了有效地生成低通滤波器F LP偏移值u, v和高通滤波器F HP有必要首先压缩Xl和Yl1并将它们融合到三个生成器中我们将此过程称为初始融合。简单初始融合[19][23][68]可以正式表示为 式中zl∈R C/r×2H×2W表示融合压缩特征R为降低三台发电机后续计算成本的信道缩减率。利用1 × 1卷积层进行信道压缩。接下来我们继续解释如何增强初始融合然后描述三个生成器的细节
4.2增强初始融合
三个生成器依赖于最初融合的压缩特征zl来预测自适应滤波器和重采样偏移。然而公式(6)所示的简单初始融合存在两个次优方面这可能会对随后的三个发电机产生不利影响.首先它采用简单的插值对压缩特征进行上采样导致边界模糊[22][71]。其次频率分析表明ALPF发生器严重依赖于融合压缩特征中的高频信息。然而传统的卷积层只能捕获固定的高频模式。因此我们建议进一步增强初始融合过程。
**初始融合的上采样。**一些开创性的著作[19][22][23]强调了上采样的重要性强调了简单的插值技术如最近邻或双线性插值可以引入光滑和不准确的边界。尽管意识到这一点为了生成初始上采样的中间特征他们[19][23]仍然使用简单的插值不可避免地导致中间特征中出现类似的问题。因此这将导致后续阶段的次优上采样结果。
为了解决这个问题如图3所示我们利用ALPF生成器将压缩的低级特征作为输入并生成一个初始的低通滤波器来对压缩的高级特征进行上采样。利用低电平中存在的高分辨率结构可以有利于上采样粗的高电平特征[23]。ALPF发生器的细节在4.3节中描述。通过采用这种方法我们绕过了简单插值的使用产生了更精细的初始融合结果并有利于后续生成器。 **高频增强用于初始融合。**如图5所示频率分析突出了ALPF发生器对融合压缩特征中的高频信息的明显依赖。值得注意的是这种依赖源于卷积层的固有性质它被限制于捕获高频的固定模式。 基于这一见解我们建议采用AHPF发生器作为战略增强。AHPF生成器的细节在第4.5节中描述。作为我们框架中的动态组件AHPF生成器被精心设计用于从特征映射中提取高频成分从而克服了标准卷积层带来的限制。与具有固定学习权值的卷积不同AHPF生成器使用的空间可变高通滤波器展示了捕获高频模式的自适应能力。
因此AHPF生成器通过精细调谐的高频细节丰富了特征表示从而促进了更有效的下游处理。如图6所示增强的初始融合使后续生成器能够更好地适应特征内容从而产生更精细的最终融合结果。表1中的定量特征相似性分析也证明了ALPF和AHPF生成器在提高特征一致性和边界清晰度方面的好处。 4.3自适应低通滤波器发生器
自适应低通滤波器ALPF发生器设计用于预测动态低通滤波器旨在有效平滑高级特征以减轻特征不一致[11]随后对高级特征进行上采样。为了实现高质量的自适应低通滤波器利用高级和低级特性[23]的优势是至关重要的。因此ALPF发生器将最初融合的z1作为输入并预测空间变化的低通滤波器。它由一个3 × 3的卷积层和一个softmax层组成表示为 式中V¯l∈R¯K2×2H×2W表示随空间变化的滤波器权值其中¯K表示低通滤波器的核大小。
重塑后V¯l包含¯K × K¯过滤器的每个位置。
这里Ω表示¯K × K¯的大小。通过一个基于核的softmax来约束过滤器都是正的并且总和为1结果是¯W∈R¯K2×2H×2W[26]中的平滑低通过滤器。 接下来我们使用亚像素上采样技术对Yl1∈R C×H×W进行高档化[62]。具体来说我们以像素无序的方式重塑W¯l[62]将高度和宽度减少一半并将通道扩展4倍。然后我们将通道分为4组每组都有一个空间变化的低通滤波器表示为W¯lg∈R¯K2×H×W其中g∈{1,2,3,4}表示组。因此我们得到4组低通滤波特征表示为Y ~ l1g∈R C×H×W然后将其重新排列形成2倍上采样特征Y ~ l1∈R C×2H×2W 如图6所示ALPF生成器根据特征内容自适应地预测空间变化的低通滤波器来平滑和增强功能一致性。为了提供更深入的了解图7显示了可视化的结果。图7(a)所示的结果表明标准特征融合中常用的双线性上采样特征表现出明显的类别内不一致和边界位移。
例如该车的内饰显示出较低的类别内相似性边界模糊表明严重的位移。 相比之下图7(b)展示了改进的特征其特征是增强了内部一致性这可以归因于引入了ALPF发生器。该组件有效地减轻了类别内的不一致性从而产生了更有凝聚力的特性。此外在边界清晰度有明显的改善。
如表1所示的定量分析证实了这些观察结果。标准的特征融合技术表现出相对较低的类别内相似性、相似性边际和相似性精度从而增加了误分类的风险。
然而在FreqFusion框架内合并ALPF生成器产生了显著的改进。具体而言总体类别内相似度0.727→0.799、相似度边际0.245→0.297和相似度精度0.918→0.941均有大幅提高。综上所述ALPF生成器在增强特征一致性方面起着关键作用从而提高了FreqFusion方法的有效性。
4.4偏移发生器
虽然ALPF生成器平滑特征以增强整体的类别内相似性但在校正大量不一致的特征或细化薄区和边界区域时可能会有所不足。
增加低通滤波器的尺寸被证明有利于处理大的不一致区域但会对薄区和边界区产生不利影响。相反减小滤波器尺寸有助于保留薄区域和边界区域但可能阻碍具有不一致特征的大面积区域的校正。
为了解决这个难题我们提出了偏移发生器。 由于观察到低类别内相似度的邻近特征往往表现出高类别内相似度的特征。偏移生成器通过计算局部余弦相似度开始这个过程 其中S∈R 8×H×W包含每个像素与其8个相邻像素之间的余弦相似度这鼓励偏移生成器向具有高类别内相似度的特征进行采样从而减少边界或类别内不一致区域的模糊性如图8和图9所示。
具体来说偏移量发生器将zl和S作为输入并预测偏移量。它由两个3 × 3的卷积层组成用于预测偏移方向和偏移规模表示为 其中Dl∈R 2G×H×W表示偏移量的方向Al∈R 2G×H×W控制偏移量的大小Ol∈R 2G×H×W表示高级特征每个像素的最终预测偏移量。G为偏移组数我们策略性地将特征划分为不同的组为更细粒度的重采样分配独特的空间偏移量。
该方法允许重新采样具有高类别内相似度的特征以取代具有低类别内相似度的特征。这样偏移量生成器可以处理大面积的不一致特征并细化边界。
如图9所示在公共汽车和汽车的内部边界我们的偏移量生成器策略性地将偏移量定向到特征具有更高一致性和清晰度的内部位置。相反在外部边界我们观察到偏移量被战略性地指向相反的方向丰富了边界区域增强了清晰度。这种在偏移方向上的故意发散有助于突出对象的边界。因此如图7©所示偏移量生成器有助于实现更一致的特征和更准确的边界描绘。从表1的定量分析可以看出它提高了类内相似度0.760→0.799提高了整体相似度0.925→0.941和边界相似度0.720→0.728。这表明偏移生成器在解决类别内不一致和边界位移问题方面提供了好处。
4.5自适应高通滤波器发生器
虽然ALPF生成器和偏移量生成器可以有效地恢复上采样的高级特征具有较高的类内一致性和精细的边界但下采样过程中丢失的低级特征中的详细边界信息不能完全恢复到高级特征中。
根据奈奎斯特-香农采样定理[28][29]在下采样过程中高于奈奎斯特频率的频率相当于采样率的一半会永久丢失。例如当高阶特征与待融合的低阶特征相比以2倍的倍数进行下采样时例如使用步长为2的1×1卷积层进行下采样导致采样率为12在此过程中高于1/4的频率会发生混叠。
为了详细说明我们使用离散傅立叶变换DFT将特征映射X∈R C×H×W变换到频域记为XF F(X)表示为 其中XF∈R C×H×W表示DFT输出的复数数组。H和W表示其高度和宽度。
h w表示特征映射x的坐标。高度和宽度维度的归一化频率分别由|u|和|v|给出。因此大于奈奎斯特频率H {(u, v) | |k| 1 4或| 1 | 1 4}的高频集在下采样的高阶特征中被混叠并永久丢失。
为了解决这一限制我们使用AHPF生成器来增强下采样过程中丢失的详细边界信息。 具体来说AHPF发生器将初始融合的z1作为输入并预测空间变化的高通滤波器。它由一个3 × 3的卷积层、一个softmax层和一个滤波反演运算组成表示为 其中V l∈R R K2×H×W包含每个位置i, j的初始核。
K表示高通滤波器的内核大小。为了确保最终生成的核W * l是高通的我们按照[83]首先用逐核的softmax获得低通核然后从单位核E中减去这些核当* K 3时单位核E的权值为[[0,0,0],[0,1,0],[0,0,0]]。
通过高通滤波和残差相加得到增强结果表示为 在图10中AHPF生成器在增强详细边界信息方面的有效性是显而易见的。例如最初的特征在描绘公共汽车的轮廓和人物头部的细节方面缺乏清晰度。然而随着AHPF生成器的加入这些边界细节得到了实质性的改进从而产生了更精细、更精细的底层特征。 AHPF生成器引入的增强功能突出了其捕获和保存复杂细节和边界的能力这对于需要高分辨率和准确特征表示的任务至关重要。这些可视化结果与图11所示的定量频率分析相一致图11显示AHPF发生器增强了Nyquist频率以上的高频功率。 表1的定量分析表明它增强了边界相似裕度0.228→0.239和边界相似精度0.718→0.728。这表明AHPF生成器在解决边界位移问题方面提供了好处。
