建设网站招聘,厂房网络推广平台,wordpress主题模板文件,广东网站建设公司哪家好强#xff01;小目标检测全新突破#xff0c;提出Mamba-in-Mamba结构#xff0c;通过内外两层Mamba模块#xff0c;同时提取全局和局部特征#xff0c;实现了检测速度快10倍#xff0c;GPU使用减少73.4#xff05;的显著效果#xff01;
【小目标检测】是近年来在深度…强小目标检测全新突破提出Mamba-in-Mamba结构通过内外两层Mamba模块同时提取全局和局部特征实现了检测速度快10倍GPU使用减少73.4的显著效果
【小目标检测】是近年来在深度学习领域中备受关注的一项技术它通过提高模型在检测图像或视频中小尺寸目标的能力显著提升了检测精度和鲁棒性。小目标检测技术已经在遥感图像分析、视频监控和自动驾驶等多个领域取得了显著成果其独特的方法和有效的表现使其成为研究热点之一。
为了帮助大家全面掌握小目标检测的方法并寻找创新点本文总结了最近两年【小目标检测】相关的13篇顶会顶刊的研究成果这些论文的文章、来源以及论文的代码都整理好了希望能为各位的研究工作提供有价值的参考。 三篇论文详述
1、Towards Automatic Power Battery Detection: NewChallenge, Benchmark Dataset and Baseline IMG_256
-这篇文章提出了一个新的挑战性任务——动力电池检测Power Battery Detection, PBD旨在通过X射线图像检测动力电池内部密集的正负极板端点以评估电池的质量。目前制造商通常依赖人工观察来完成PBD这不仅效率低下而且难以保证检测的准确性。为了解决这一问题文章首先精心收集了一个名为X-ray PBD的数据集包含来自5家制造商的1500张多样化X射线图像这些图像具有7种不同的视觉干扰。
-接着文章提出了一种新颖的基于分割的解决方案——多维协同网络Multi-Dimensional Collaborative Network, MDCNet。MDCNet利用线和计数预测器辅助点分割分支在语义和细节层面上改进表示。此外作者设计了一种有效的距离自适应掩模生成策略以减轻由于板分布密度不一致造成的视觉挑战为MDCNet提供稳定的监督信号。
-文章通过广泛的实验比较了MDCNet与其他基于角点检测、人群计数和通用/微小目标检测的解决方案证明了MDCNet在八个评估指标下均优于现有方法确立了其作为PBD领域强基准的地位。最后文章分享了未来研究可能遇到的困难和工作方向并承诺将源代码和数据集公开以促进PBD研究的进一步发展。
-文章的主要贡献包括提出了PBD这一新挑战任务构建了一个复杂的PBD数据集设计了一个有效的基线模型制定了全面的评价指标并探索了标签生成策略。MDCNet通过多尺度特征融合和提示滤波技术利用点、线和数量线索在复杂多样的背景干扰下实现了准确的PBD。此外文章还进行了消融研究分析了MDCNet中每个组件的贡献并探讨了不同的标签生成策略。
-尽管MDCNet在常规样本上取得了超过95%的检测准确率但在处理困难和棘手样本上的性能还有待提高。文章指出未来的工作将更多地致力于处理这些困难样本并计划利用CT设备扩展PBD数据集到3D形式以提供更丰富的内部切片信息。 2、Dynamic Coarse-to-Fine Learning for Oriented Tiny Object Detection IMG_257
-这篇文章介绍了一种面向微小目标检测的动态粗到细学习框架Dynamic Coarse-to-Fine Learning, 简称DCFL。文章首先指出在航空图像中检测任意方向的微小物体对于现有检测器来说是一个巨大的挑战尤其是标签分配问题。传统的目标检测方法依赖于静态规则来分配标签但这种方法不能适应目标形状的变化导致正负样本的不均衡分配从而影响检测性能。
-为了解决这些问题文章提出了一种动态先验和粗到细的分配器即DCFL。DCFL通过动态建模先验、标签分配和目标表示来缓解不匹配问题。具体来说文章设计了一个动态先验捕获块Prior Capturing Block, PCB它可以自适应地调整先验位置同时保留了先验的物理意义。基于动态先验文章进一步选择跨FPN层的粗正样本Coarse Positive Sample, CPS候选并通过广义Jensen-Shannon散度Generalized Jensen-Shannon Divergence, GJSD来实现CPS这可以扩大CPS到目标附近的空间位置和相邻的FPN层确保为极端形状的物体提供更多的候选样本。
-在获得CPS之后文章提出了一种基于预测的重排策略和动态高斯混合模型Dynamic Gaussian Mixture Model, DGMM来过滤低质量样本。DGMM由两个分量组成一个位于目标的几何中心另一个位于目标的语义中心。这种设计允许更细致地表示目标实例从而提高检测质量。
-文章在六个数据集上进行了广泛的实验包括DOTA-v1.5、DOTA-v2.0和DIORR等并在单尺度训练和测试下取得了显著的性能提升。特别是在DOTA-v1.5、DOTA-v2.0和DIORR数据集上DCFL达到了最先进的性能。此外文章还提供了代码以便于其他研究人员复现和利用该方法。
-文章的主要贡献包括(1) 识别了面向微小目标检测中存在的严重不匹配和不平衡问题(2) 设计了一种面向微小目标检测的动态粗到细学习方案首次以动态方式建模先验、标签分配和目标表示(3) 在六个数据集上的广泛实验表明DCFL能够显著提高检测性能。
-文章还进行了消融研究验证了所提出的策略的有效性并分析了不同组件对整体性能的影响。此外文章还探讨了DCFL在处理不同角度和尺度的微小物体时的不平衡问题并展示了DCFL如何通过动态采样策略更好地捕获目标形状。最后文章还评估了DCFL的推理速度并与其他方法进行了参数和计算复杂度的比较。 3、Making Vision Transformers Efficient from A Token Sparsification View IMG_258
-这篇文章提出了一种新的高效视觉Transformer模型称为Semantic Token Vision TransformerSTViT旨在解决传统Vision TransformerViT在计算复杂度上的局限性。ViT通过将图像分割成多个tokens进行处理虽然在多种视觉识别任务中表现出色但其计算量随着tokens数量呈二次方增长限制了其在实际应用中的广泛部署。
-文章的核心思想是通过token稀疏化技术减少冗余tokens同时保持或提升模型性能。STViT通过引入少量的语义tokens来代表图像中的聚类中心这些tokens在数量上远少于原始图像tokens从而显著降低了计算成本。这些语义tokens通过自注意力机制动态聚合图像tokens以恢复聚类中心并能够适应性地表示全局或局部的语义信息。
-STViT的提出基于几个关键观察首先与局部CNN学习图像的空间结构不同ViT将特征图离散化为tokens进行全局特征探索这减轻了维持整个图像结构和信息的要求其次离散tokens更有利于优化最后在深层transformer中只有少数具有全局语义信息的tokens才是重要的。
-在STViT中作者设计了一个语义token生成模块STGM它由至少两层transformer层组成用于从图像tokens中生成语义tokens。这些语义tokens在空间上通过内部和跨窗口的空间池化初始化以确保它们在空间上分布均匀并能够代表局部语义信息。随后这些语义tokens通过自注意力层进一步聚合以获得全局聚类中心。
-文章还提出了STViT-R网络这是一个基于STViT的改进模型它通过恢复模块和哑铃单元来恢复详细的空间信息使得STViT能够适用于下游任务如目标检测和实例分割。这在以前的token稀疏化方法中是无法实现的。
-通过广泛的实验作者证明了STViT在图像分类和视频识别任务上的有效性。在DeiT和Swin Transformer模型上应用STViT使用16个语义tokens就能实现与原始模型相当的准确率同时显著提高了推理速度并减少了计算量。特别是在Swin Transformer模型上通过在每个窗口中使用16个语义tokens推理吞吐量提高了约20%准确率略有提升。
-此外STViT-R在目标检测和实例分割任务上也展现出了竞争力与原始网络相比在超过30%的FLOPs减少的情况下仍然取得了可比的结果。这些发现表明维持全尺寸特征图并不是必要的少数具有高级语义表示的tokens就能实现高性能和高效率。
-文章的代码已经在GitHub上公开为进一步的研究提供了基础。总的来说这篇文章为如何提高ViT的效率提供了一种新颖的视角并通过实验验证了其有效性为未来ViT在实际应用中的部署提供了新的可能性。
