网站移动端是什么问题吗,卖备案域名被抓,电子商务网站建设规划开题报告,做可视化的网站系列文章
YOLO系列基础
YOLO系列基础合集——小白也看得懂的论文精解-CSDN博客
YOLO系列正传
YOLO系列正传#xff08;一#xff09;类别损失与MSE损失函数、交叉熵损失函数-CSDN博客
YOLO系列正传#xff08;二#xff09;YOLOv3论文精解(上)——从FPN到darknet-53-C…系列文章
YOLO系列基础
YOLO系列基础合集——小白也看得懂的论文精解-CSDN博客
YOLO系列正传
YOLO系列正传一类别损失与MSE损失函数、交叉熵损失函数-CSDN博客
YOLO系列正传二YOLOv3论文精解(上)——从FPN到darknet-53-CSDN博客
YOLO系列正传三神经网络的反向传播back propagation与公式推导-CSDN博客
YOLO系列正传四YOLOv3论文精解(下)——损失函数推导与其他优化项-CSDN博客
YOLO系列正传五YOLOv4论文精解上从CSPNet、SPP、PANet到CSPDarknet-53-CSDN博客 目录
系列文章
YOLO系列基础
YOLO系列正传
YOLOv4基础介绍
从CSPNet开始
背景与改进
过渡层详解
跨阶段连接分支卷积层详解
SPP模块详解
SPP背景介绍
什么是空间金字塔池化SPP
PANet网络详解
背景与挑战
从FPN网络到PANet网络
CSPDarknet-53模型
CSP模块改进说明
SPP模块改进说明
SPP模块的结构
解释每一部分
PANet网络改进说明 总结 YOLOv4基础介绍
YOLOv4进一步优化了YOLOv3主要改进点包括
主干网络使用了CSPDarknet-53替代原YOLOv3中的Darknet-53。新方法引入例如Mish激活函数、Mosaic数据增强、DropBlock正则化和自对抗训练SAT。优化策略使用了CIoU Loss和多锚点匹配策略使得模型在准确率和速度上实现了更好的平衡。 我们本文专注与YOLOv4网络结构的内容即CSPDarknet-53的结构梳理。
从CSPNet开始
背景与改进 跨阶段部分连接网络CSPNetCross Stage Partial Network是针对现有CNN设计的一种改进结构旨在解决冗余梯度问题并减少计算成本。其实是类似残差结构中的一种但是相比较于最基本的残差结构CSPNet有两点不同
CSPNet在密集层之后还有一层卷积作为过渡层CSPNet在跨阶段连接分支上也有一层卷积进行信息的选择性传递。
有关CSPNet的基础内容可以查看以下博客
深度学习中的残差网络、加权残差连接WRC与跨阶段部分连接CSP详解-CSDN博客
以上博客讲诉了残差网络Residual、加权残差连接WRC、以及跨阶段部分连接CSP的基础信息。 本博文在上诉的基础上更进一步详解CSPNet的此两点不同
过渡层详解
过渡层的主要作用是用以在反向传播中梯度传导过程中过渡传导过程。图例如下 (c)图是没有过渡层的CSPNet(d)图是有过渡层的CSPNet 我们先看a图a图两层分支直接进行了concat拼接后进行Transition后续处理那么在反向传播中梯度传播到concat形成的大特征图的时候会对左右两条分支产生一样的前序梯度信息那么在很大程度上左右两条分支会产生冗余和重复。
我们此时看b图b图中密集层(DenseBlock)处理完之后先进行了一次过渡层(Transition)操作大多是卷积再和另外一条分支进行concat操作。此时当我们进行反向传播的时候抵达concat之后的大特征图的时候梯度信息是一致的但是梯度信息传递到过渡层的之后再传递给密集层的时候梯度信息和另一分支就产生了差异性这在很大程度上避免了梯度冗余和重复。
跨阶段连接分支卷积层详解
在基础残差网络中我们是没有这一层卷积的图例如下 图a普通的神经网络密集层图bPart1为一层卷积操作的CSP改造网络
此处CSP增加这里的卷积的理由有哪些呢有如下 两点
避免硬件计算资源浪费增加模型表达能力 在传统残差网络中密集层大多采用瓶颈层来降低计算量那么很明显针对低层的瓶颈层是无法吃满硬件计算资源的这就给另一分支的构建提供了机会。也就是说另一分支完全可以增加复杂度而不会影响模型速度。给另一分支增加卷积层等处理模块可以避免计算资源的浪费。 其次在残差网络中我们采用跳跃连接的方式是为了使得低层特征可以传递给高层输出以不丢失低层特征信息并以此使得模型的深度可以无限往下延深。实际上我们真正需要做的是在尽可能少的层数里降低推理速度获取足够有效的特征信息也就是说我们不需要模型无限延展我们需要的是模型每一层的效率足够高可以处理输出足够有效的特征信息所以在另一分支上增加卷积层提高模型效果的思路是完全可行的。
综上CSPNet的结构我们完全解释清晰了。
SPP模块详解
YOLOv4这一版本引入了空间金字塔池化技术SPPSpatial Pyramid Pooling
图例如下 SPP背景介绍
卷积层对所有的输入size都能正常运行但是对于最后的检测头若是采用了FC层FC层的具体输出维度是固定的就会产生对输入图像size的要求这也是传统的CNN架构通常要求输入图像具有固定尺寸的原因这一要求限制了网络的灵活性直接resize又会导致图像尺寸信息的丢失。为了克服这一限制许多研究者提出了不同的解决方案其中之一就是空间金字塔池化Spatial Pyramid PoolingSPP。SPP通过引入多层次的池化结构有效地解决了图像尺寸固定的问题使得CNN能够处理不同尺寸和尺度的图像。
什么是空间金字塔池化SPP 空间金字塔池化SPP的核心思想是通过在多个空间尺度上进行池化从而生成一个固定长度的特征向量。具体来说SPP方法通过在卷积神经网络的最后一层卷积层上添加一个池化层将特征图分成多个不同大小的区域进行池化操作。这些池化操作可以是1×1、2×2、4×4等不同的空间网格这样能够在不同的尺度上提取图像的特征。最终来自各个尺度的池化特征会被拼接在一起形成一个固定长度的特征向量。
空间金字塔池化层的工作原理可以通过以下几个步骤来概括
输入特征图最后一个卷积层生成的特征图其空间尺寸根据输入图像的大小而不同。多层次池化SPP层将特征图分成多个不同大小的空间区域如1×1、2×2、4×4等并在每个区域内进行池化操作。这样SPP层从不同尺度提取特征。特征拼接池化后的特征会被拼接在一起形成一个固定长度的特征向量。传递至全连接层这个固定长度的特征向量被传递给全连接层用于最终的分类或其他任务。
通过这一过程SPP层能够有效地从不同尺寸的图像中提取重要特征并为后续的高层任务提供稳健的输入。
PANet网络详解
背景与挑战
实例分割任务的主要挑战在于如何精确地分割图像中的每个实例尤其是当不同实例之间存在重叠、形状复杂或者尺寸差异较大时。虽然像Mask R-CNN这样的基于深度学习的方法已经取得了较好的结果但它们仍然面临以下问题
特征丢失 网络中的高层特征提供了丰富的语义信息但缺乏足够的细节。相反低层特征包含更多的局部细节信息却缺乏语义理解。边界模糊 复杂实例的边界分割往往不够精细导致误分割和漏分割现象。多尺度问题 不同尺寸的物体在图像中可能有很大的差异现有的分割方法在处理小物体和大物体时常常表现不佳。 为了克服这些问题PANet提出了一种新的路径聚合策略将低层次的细节信息与高层次的语义信息进行有效融合从而提高了实例分割的准确性。
从FPN网络到PANet网络
FPN通过自底向上的特征金字塔模型给低维特征数据提高了更高维的特征向量支持简单来说较低层的数据通常用于检测小目标 高层特征用于检测大目标。
随着网络深度的加深越深的网络会丢失越来越多的细节信息以保持对大范围特征信息的识别而较低层的网络虽然保留了更多信息但是却没有经过足够多的处理获取更高层级的特征信息。所以在以上的背景下FPN被提出了这使得小目标的检测头在保留大量细节信息的基础上也可以获得高层级特征向量。
也许有人就会问了那为什么没有从低层直接向高层连接的向量给高层检测头提高更多的细节信息呢没错答案就是PANet层 图中b图展示了在左侧FPN层之后再次进行了PANet层底层特征信息被传递给了高维数据 PANet通过路径聚合模块将多层次的特征进行有效融合。网络不仅仅依赖于高层的抽象语义信息同时也保留了低层次的局部细节从而更好地适应不同尺寸、不同复杂度的物体。这种多尺度特征融合方法使得PANet在处理大物体和小物体时均能获得较好的分割效果。
CSPDarknet-53模型
终于来到了我们今天的正题YOLOv4的网络结构
模型图如下 YOLOv4的网络结构图 YOLOv4 CSPDarknet-53 主干网络部分如下 标YOLOv4 CSPDarknet-53 主干网络题 大家可以参考以下YOLOv3模型的结构图 YOLOv3的详解可以查看以下博客
YOLO系列正传二YOLOv3论文精解(上)——从FPN到darknet-53-CSDN博客
其实细心的读者可以发现主干网络的逻辑是近乎一致的。
CSP模块改进说明
YOLOv3中的Residual残差模块和CSPNet思想结合构建了CSPBlock模块由于使用了CSP模块密集层也无需有瓶颈层了全部都是一样的维度.其对比如下 左图YOLOv3Darknet-53网络残差结构右图YOLOv3CSP魔改后的残差结构
可以看出YOLOv4改进点无非就是以下两点
Residual没有使用瓶颈层提高了计算效率毕竟瓶颈层是对计算是有负面影响的使用CSP进行跨阶段连接提升了特征提取能力
SPP模块改进说明 在YOLOv4中SPPSpatial Pyramid Pooling模块是为了增强模型在处理不同尺度的物体时的表现。YOLOv4在模型中加入了SPP模块旨在通过多尺度特征池化来捕获更多的上下文信息帮助检测不同尺寸的物体。下面我将详细解释YOLOv4中SPP模块的设计。
SPP模块主要是为了达成以下目标
多尺度特征提取SPP模块通过使用不同大小的池化层max-pooling来捕捉不同尺度的信息。这使得网络能够在不增加额外计算量的情况下提取多尺度的上下文信息。增强局部特征的上下文信息通过对不同大小的区域进行池化SPP模块能够更好地理解输入图像的全局上下文信息帮助模型对不同尺度的物体做出更准确的预测。
SPP模块的结构
在YOLOv4的cfg文件中SPP模块的实现如下
### SPP ###
[maxpool]
stride1
size5[route]
layers-2[maxpool]
stride1
size9[route]
layers-4[maxpool]
stride1
size13[route]
layers-1,-3,-5,-6
### End SPP ###解释每一部分
[maxpool]层SPP模块在YOLOv4中包含三个不同大小的maxpool层每个层使用不同的池化窗口大小分别是5x5、9x9和13x13。这些池化层分别作用于不同尺度的区域来提取特征。
第一层池化大小为5x5stride为1。这是最小的池化层用于捕获较小范围的上下文信息。第二层池化大小为9x9stride为1。它比第一个池化层捕获更大的上下文信息。第三层池化大小为13x13stride为1。这是最大的池化层可以捕获最大范围的上下文信息。
[route]层这些route层将不同池化层的输出连接在一起以形成一个多尺度的特征图。
layers-2将来自前一层的输出连接到当前层。layers-4将离当前层更远的输出连接起来进行多尺度的特征融合。layers-1,-3,-5,-6最终将所有池化层的输出5x5, 9x9, 13x13池化的结果通过route层合并到一起形成一个丰富的特征图。
PANet网络改进说明
YOLOv4检测头图例如下 其中P3、P4、P5是FPN金字塔的输出后面的N3、N4、N5是PANet网络的输出。
我们可以清晰的看见FPN有一个由下向上的路径PANet有一个由上向下的路径。这样网络不仅仅依赖于高层的抽象语义信息同时也保留了低层次的局部细节从而更好地适应不同尺寸、不同复杂度的物体。很好的补齐了FPN的不足和缺失。 总结
至此我们详细讲解了CSPNet、SPP、PANet的相关重点以及YOLOv4模型网络CSPDarknet-53的模型结构内容 最后各位广大读者看到这您也知道准备一篇类似的博客实属不易还请多多点赞收藏哦
