做调查问卷网挣钱的网站,有没有专门交人做美食的视频网站,香精,网站模板源文件为了准确检测小目标#xff0c;领域内现有方法大多基于通用目标检测范式进行针对性改进#xff0c;根据这些改进所采用关键技术的不同#xff0c;可以分为六种类别#xff1a;#xff08;1#xff09;面向样本的方法#xff1b;#xff08;2#xff09;基于尺度感知的…为了准确检测小目标领域内现有方法大多基于通用目标检测范式进行针对性改进根据这些改进所采用关键技术的不同可以分为六种类别1面向样本的方法2基于尺度感知的方法3注意力启发的方法4基于特征模仿的方法5背景建模的方法6由粗到精的方法。
1面向样本的方法
面向样本的方法旨在缓解小目标训练样本稀缺的窘境主要包含通过数据扩充提升小目标实例个数以及改进样本分配策略从而为小目标挖掘更加优秀的样本。样本划分是目标检测中至关重要的一步尤其是对于小目标而言。 基于数据扩充的方法简单有效但其性能提升依赖于数据集即针对不同的数据集需要设计不同的增广策略。样本分配阶段往往依赖于目标区域和先验区域的交并比Intersection-over-UnionIoU或距离度量这使得现有的策略倾向于为较大尺寸目标分配更多的训练样本一定程度上抑制了小尺寸目标的检测性能。
2基于尺度感知的方法
图像中的目标往往有大有小由此带来的尺度问题是目标检测乃至计算机视觉领域的核心问题之一。为了缓解这一问题研究者们通过设计尺度特定的检测器以及特征融合操作提升多尺度目标中的小目标检测精度。对于前者基于不同尺度的目标所依赖的信息不同这一事实设计了多分支并行的检测器。其中浅层特征图负责检测小目标中层和深层特征图则对中大尺寸目标进行检测。此外还有一些算法改进训练阶段的数据处理策略即只有当目标的分辨率落入特定尺度时才会被输入检测器进行训练否则将被忽略掉。基于特征融合的方法利用融合操作将富含更多细节信息、分辨率较高的浅层特征图与语义信息丰富、分辨率较低的深层特征图进行融合从而得到兼顾语义信息和细节信息的高分辨率特征图然后据此进行小目标检测。 总的来说尺度特定的架构致力于在最合理的尺度上处理小目标而特征融合的方法旨在弥合低层和高层特征图之间的空间和语义信息差距。然而前者将不同大小的目标启发式地映射到相应的尺度层级这可能会导致检测器混淆因为单一层的信息不足以进行准确的预测。另一方面在网络内部不同层级间信息的流动并不总是有利于小目标的表示因而需要谨慎处理这一过程防止小目标的原始响应被更深层次的信号淹没
3注意力启发的方法
注意力机制通过借鉴人类的认知机制对特征图的不同部分分配不同的权重以突出图像中的重要区域同时抑制那些不必要的区域。图像中的小目标易被背景和噪声信息所干扰很难获得高质量表示。基于注意力机制的方法通过筛选关键部分并抑制噪声区域能够增强小目标的特征表达。 由于其灵活的结构设计注意力模块可以嵌入几乎所有的检测架构中。与此同时不可忽视的是基于注意力的方法带来的性能提升是以高计算负担为代价的。此外目前的注意力范式缺乏监督信号因而只能以隐式进行优化。
4基于特征模仿的方法
小目标包含的信息有限导致模型在分类和回归时能够利用的信息很少与此同时大目标往往具有清晰的视觉结构和更好的区分度。因此一个自然而然的想法是通过模仿较大目标的区域特征来丰富小目标的特征表示。为此已经提出了一些方案可分为两类基于相似性学习的特征模仿和基于超分辨率框架的方法。通过挖掘不同尺度对象之间的内在关系这些策略在很大程度上改善了信息丢失和特征表示中的噪声问题。前者的核心思想是在通用检测器上施加额外的相似性约束从而弥合小目标和大目标之间的表示差异。后一种则主要借助生成式对抗网络Generative Adversarial NetworkGAN[6]来复原或者提升小目标的区域表示。 通过向现有的检测器添加额外的相似性损失或超分辨率架构特征模仿方法赋予模型挖掘小尺寸目标与大尺寸目标之间内在相关性的能力进而增强小目标的语义表示。然而无论是基于相似性学习还是基于超分辨率的方法都需要避免特征塌陷问题保持特征的多样性。此外基于生成对抗网络的方法往往会产生虚假纹理和伪像对检测结果产生负面影响。更糟糕的是超分辨率架构的存在使得端到端优化变得更加复杂。
5背景建模的方法
人类能够有效地利用环境与物体之间的关系或者物体之间的关联以促进对物体和场景的识别。捕捉语义或空间关联的这种先验知识被称为背景或上下文信息它传达了超出物体区域的线索。上下文信息在人类的视觉系统中至关重要并且在物体识别、语义分割、实例分割等场景理解任务中也发挥着关键作用。有趣的是丰富的上下文信息有时在决策支持方面比物体本身能够提供更多的帮助特别是在识别视觉质量较差的物体时。为此一些方法利用背景信息来提升小目标的表达能力生成更具判别性的特征最终提升其检测精度。 从信息论的角度来看考虑的特征类型越多越有可能获得更高的检测准确率。然而无论是整体上下文建模还是局部背景信息引导哪些区域应该被编码为背景区域需要被谨慎对待。换句话说当前的背景建模机制以启发式和经验方式确定上下文区域这不能保证所构建的目标表示具有足够的解释性和鲁棒性。
6由粗到精的方法
高分辨率图像中的小目标往往是非均匀分布的而通用的分割与检测方案会在那些空白区域上消耗大量计算资源导致推理过程十分低效。我们是否可以通过过滤掉那些没有目标的区域从而减少无用的操作来提升检测效率呢答案是肯定的遵循该范式的方法跳出了处理高分辨率图像的通用流程。它们首先提取包含目标的区域然后在这些区域上进行检测。这种处理方式确保了小目标能够以更高的分辨率进行处理从而减轻了信息损失并提高了表示质量。 相较于通用的滑动窗口机制由粗到精的方法赋予了模型自适应裁剪和灵活缩放操作的能力即较小的目标可以在较高的分辨率下处理而较大的目标可以在相对较低的分辨率下检测。在提升精度的同时显著节省了推理时的内存占用并减少了背景干扰。但是这些方法必须解决一个关键问题如何提取到包含目标的粗略区域目前的方法要么依赖于手动添加额外的注释要么依赖如分割网络或高斯混合模型等辅助架构然而前者需要费力的标注后者则会使得端到端优化变得复杂
总结与展望
本文对小目标检测进行了全面回顾首先对基于深度学习的小目标检测算法进行了系统性的综述同时总结和回顾了常用的一些数据集。为了推动该领域的进一步发展我们构建了第一个专为小目标检测定制的大规模数据集SODA包含SODA-D和SODA-A。基于这两个数据集我们对数个代表性算法进行了性能评估和对比。最后我们对小目标检测的预期发展进行展望 高效特征提取网络如前所述现有的骨干网络可能不利于提取小目标的高质量特征表示。因而设计一个针对小目标的的高效骨干网络——既具有强大的特征提取能力又能避免高计算成本和信息损失——是一个需要深入研究的关键问题。 高质量的层级化特征表示特征金字塔Feature Pyramid NetworkFPN[13]是小目标检测模型中不可或缺的一部分。然而当前的特征金字塔架构对于小目标检测而言并不是最优的这是因为在启发式的金字塔层级分配策略下只有极少的样本被分配到更高的层级实际上在我们的基准实验中只有P2层级的特征负责检测。因此高层级的特征图只能在隐式和间接的方式下进行优化这会对最终特征融合的质量造成影响。此外在高分辨率的低层级特征图上进行检测会带来较重的计算负担。因此需要设计一个专为小目标检测任务量身定制的高效分层特征架构。 优化的样本分配策略尽管当前的标签分配方案在通用目标检测和大目标上表现良好但它们在处理极小目标时仍然面临巨大挑战无论是基于重叠的策略还是基于分布的策略都是如此。因此设计一个优化的策略来为尺寸有限的目标分配足够的正样本可以显著稳定训练过程并进一步提升性能。 适用于小目标检测的评估指标在某些特定场景下小目标检测的首要任务是识别目标并获取其大致位置而不是过度追求定位精度。因此借鉴其他领域如人群计数的经验设计一个适当的指标指导小目标检测架构在某些特定场景下的训练和推理对领域未来的进一步发展至关重要。
