网站怎么添加流量,长沙做网站公,离石做网站的公司,早期做的网站支持现在的网速吗由于涉及量化、部署两个领域#xff0c;本博文难免有不对之处#xff0c;欢迎指正。 本博客对 yolov11#xff08;yolov8#xff09;尝试了7种不同的部署方法#xff0c;在最基础的模型上一步一步的去掉解码相关的操作#xff08;移到后处理种进行#xff09;#xff0… 由于涉及量化、部署两个领域本博文难免有不对之处欢迎指正。 本博客对 yolov11yolov8尝试了7种不同的部署方法在最基础的模型上一步一步的去掉解码相关的操作移到后处理种进行直到不能再删减保留到模型最本质的部分。 随着解码相关的操作越来越多的移入后处理模型的推理的时耗在减少后处理的时耗在增加但也随着解码操作从模型种移除量化的效果也在逐步变好。 对每种方法的优势进行了简单总结不同的平台、不同的时耗或CPU占用需求总有一种方法是适用的。当然对想了解部署的也是一个很好的参考学习资料。 春节期间一天一种部署方法这个春节收获满满。 yolov11的7种部署方法代码链接 本博客种使用的板端芯片rk3588模型yolov11n模型输入分辨率640x640检测类别80类。
0 七种方法汇总
编号推理时耗ms后处理时耗ms总时耗msCPU占用相比上一种方法int8量化友好性第1种––最少最简单不友好第2种33.754.497238.2472同1不友好第3种32.444.497136.4971增多不友好第4种30.784.5535.33增多较友好第5种30.754.8435.58增多增加到最多较友好第6种30.247.0837.32同5较友好第7种30.177.3437.51同5友好 若NPU负载不是瓶颈当然可以考虑把多的操作放在NPU上反之将操作往CPU上挪一部分若量化掉点较多则可以考虑量化稍微友好的方式。
1 代码目录结构 yolov11的 7 种部署方法
yolov11_onnx # onnx 推理脚本、模型、测试图片、测试效果图
yolov11_rknn # 转并推理 rknn 脚本、模型、测试图片、测试效果图
yolov11_cpp # 部署 rk388 完整 C 代码、模型、测试图片、测试效果图2 yolov11v8的7种部署方法
2.1 第1种部署方法
模型结构 按照yolov11官方导出的onnx模型模型输出直接是类别和解码后的框模型结构如下图。
onnx效果 很遗憾的是转换成rknn的int8模型检测不到任何结果。转换rknn的int8时把模型输出结果都打印出来发现模型输出的84这个维度前4个坐标框值正常后80个得分输出全为0。导致这样的原因坐标框值取值范围是1-640而得分输出的值取值范围0-1使得对量化很不友好导致模型得分输出的值基本都为0。尝试转rknn的时不进行量化结果输出正常。因此该方法对量化不友好。这种部署方式模型时耗最长后处理操作最少。
板端效果 由于该种部署方法转rknn的int8时量化效果非常差因此不做板端部署。
2.2 第2种部署方法
模型结构 在第1种部署方法的模型基础上去掉了最后的把坐标框和得分concat在一起的操作。
onnx效果 onnx的测试效果和第一种一样就不再贴图了。
板端效果 第1种部署方法由于坐标框值取和得分的取值范围差异较大concat在一起使得量化成int8模型基本不可用。这种方法是去掉了最后的concat量化能正常输出结果但在板端测试效果不是很好。
板端时耗 2.3 第3种部署方法
模型结构 在第2种部署方法的模型基础上去掉坐标框解码到模型输入尺寸的计算。
onnx效果 onnx的测试效果和第一种一样就不再贴图了。
板端效果 板端时耗 2.4 第4种部署方法
模型结构 在第3种部署方法的模型基础上继续去掉坐标框的DFL输出2个头。第2、3两种部署方法可能是对于量化不友好导致检测效果明显有问题。该种方法检测效果没有明显问题。
onnx效果 onnx的测试效果和第一种一样就不再贴图了。
板端效果 板端时耗 2.5 第5种部署方法
模型结构 在第4种署方法的模型基础上继续去掉把坐标框和得分进行分开的split以及得分的sigmoid函数输出1个头。到达这一种部署方法后后处理占用cpu不会在增加。
onnx效果 onnx的测试效果和第一种一样就不再贴图了。
板端效果 板端时耗
2.6 第6种部署方法
模型结构 在第5种署方法的模型基础上继续把三个检测头concat在一起的操起去掉输出3个头。 onnx效果 onnx的测试效果和第一种一样就不再贴图了。
板端效果 板端时耗 2.7 第7种部署方法
模型结构 在第6种署方法的模型基础上继续把三个检测头的坐标框和得分concat在一起的操起去掉输出6个头。到这一步模型内封装的操作能去的都去了模型的速度达到了最快量化友好性达到了最好。 onnx效果 onnx的测试效果和第一种一样就不再贴图了。
板端效果 板端时耗
