合肥网站建设排名,网站查外链,电子商务就是建网站,优秀网站设计模板由于最近实习项目使用到了yolov5#xff0c; 发现对yolov5的后处理部分不太熟悉#xff0c;为防止忘记#xff0c;这里简单做个记录。
在yolov5里#xff0c;利用FPN特征金字塔#xff0c;可以得到三个加强特征层#xff0c;每一个特征层上每一个特征点存在3个先验框 发现对yolov5的后处理部分不太熟悉为防止忘记这里简单做个记录。
在yolov5里利用FPN特征金字塔可以得到三个加强特征层每一个特征层上每一个特征点存在3个先验框每个先验框需要预测每一个特征点的回归参数、是否包含物体、以及所包含的物体种类概率。
一、常见预测结果输出类型
一般常见的yolov5模型的输入输出如下面2张图所示图1为yolov5的三个Predict Head分别输出的示例图2为3个Head合并后的单结果输出示例。 图1 多结果输出 图2 单结果输出
假设模型输入为(640,640)的RGB图像即图中所示输入节点nameimagesshape NCHW[1,3,640,640]训练集为coco数据集具有80个类别即num_classes80。
图1中的模型输出分别为(1,255,20,20)(1,255,40,40)(1,255,80,80)其中开头的1表示batch_size(20,20)、(40,40)、(80,80)分别为3个特征层的形状大小2553*(8041)3表示每个特征点对应的3个先验框80为one-hot后的各类别概率4为先验框的回归参数1为先验框是否包含物体的概率大小。
图2中的252003*(20*2040*4080*80)即一共有25200个先验框。
有时模型经过转换后输出结果为(1,2142000)其中214200025200*85。
二、预测输出结果解码
由一得到的不同预测结果的输出类型首先先将其reshape一下变成统一形状python中对结果列表进行操作即可注意维度与切分间隔。
以单结果输出类型(1,25200,85)为例
其中的85可以拆分成4180。 前4个参数用于判断每一个特征点的回归参数回归参数调整后可以获得预测框 第5个参数用于判断每一个特征点是否包含物体 最后80个参数用于判断每一个特征点所包含的物体种类。
1输出结果解码
主要输出参数有边界框预测的4个offsets边界框置信度box_conf 和第i个类别的置信度cls_conf。边界框预测参数需要如下解码公式得到预测框的位置以及宽高。 这里需要注意的是公式中的解码结果是根据先验框的位置信息进行解码的如果给定的是先验框的实际位置信息则解码出来的结果就是实际框的位置信息这样就不需要针对不同特征层的不同先验框位置进行解码如果不是则需要根据不同特征层的先验框位置进行调整讲个例子如果公式中给定的、是特征层20,20上的坐标网格那得到的、也是相对于20,20上的位置而言的此时还需要将其映射到模型输入大小上即乘以其对应的下采样strides。 第i个类别的置信度cls_conf可以通过获取最大值及其索引得到最大概率max_cls_conf以及相应的索引值max_cls_pred完成类别预测解码得到种类以及种类置信度。
因此经过解码后可以得到85(4180) -- 7(x,y,w,h,box_conf,max_cls_conf,max_cls_pred)
2非极大值抑制
经过步骤1我们得到了很多的预测框有些预测框并不准确因此还需要进行非极大值抑制防止同一种类框的堆积。
这里借鉴网上的图加深一下影响。 首先利用置信度进行第一轮的筛选即筛选出得分满足confidence置信度的预测框其中框的置信度得分为box_conf*max_cls_con这样在进行重合框筛选前可以大幅度减少框的数量
然后进行非极大值抑制即筛选出一定区域内属于同一种类得分最大的框
1、获取预测结果中包含的所有种类 2、对种类进行循环获取该类的全部预测结果 3、根据置信度得分对该种类进行从大到小排序。 4、每次取出得分最大的框计算其与其它所有预测框的重合程度重合程度过大的则剔除。
3输出结果校正
经过解码以及非极大值抑制后可以得到模型预测出的相对于输入尺寸大小(640,640)的框我们需要将预测框校正到实际的图像上。通常实际输入图片比模型输入图像要大因此需要下采样到模型输入大小一般采用letterbox操作即将图像按最小尺度比缩放后在周围补上灰边以填充到模型输入大小这样如果想得到实际图像上预测框我们需要对预测结果进一步校正。
1、计算图像大小image_shape与模型输入大小input_shape的最小形状的比值r得到缩放后的图像形状大小new_shape。
2、计算边界offset以及图像大小与缩放后图像大小的长宽比值scale
3、根据预测框减去边界偏差offset并除以比值得到实际图像上的框的位置与宽高信息。 image_shape(960,1280)
input_shape(640,640)
r min(640/960,640/1280)min(2/3,0.5)0.5
new_shapeimage_shape*r(480,640)
offset (input_shape-new_shape)/2 ((640,640)-(480,640))/2(0,80)
scale 1/r2
假设模型预测得到了某个框的位置中心点坐标为100,300经过上式计算后得到
real (pred - offset)*scale[(100,300)-(0,80)]*2(200,440)
三、相关代码
1推荐b导的代码utils_bbox中实现了torch与numpy的解码。
yolov5-pytorch/utils/utils_bbox.py at main · bubbliiiing/yolov5-pytorch (github.com)
2不依赖pytorch不需要cmake编译基于官方yolov5训练的模型进行python部署
jndxchengjiabao/yolov5_tensorrt_python: 不使用c编译不依赖pytorch使用tensor和numpy进行推理导出onnx模型即可使用。 (github.com)
该模型输出为1,2142000后处理代码写在trt.py中使用tensor和numpy实现。 仅为学习记录侵删
