网站建设是设,玖壹购网站是做啥子的,邢台如何做企业网站,广州有哪些网络设计公司前言
上一章中完成了faster-rcnn(jwyang版本)的复现#xff0c;本节将在此基础进一步训练自己的数据集~
项目地址#xff1a;https://github.com/jwyang/faster-rcnn.pytorch/tree/pytorch-1.0 复现环境#xff1a;autodl服务器python3.6cuda11.3Ubuntu20.04Pytorch1.10.0…前言
上一章中完成了faster-rcnn(jwyang版本)的复现本节将在此基础进一步训练自己的数据集~
项目地址https://github.com/jwyang/faster-rcnn.pytorch/tree/pytorch-1.0 复现环境autodl服务器python3.6cuda11.3Ubuntu20.04Pytorch1.10.0
往期回顾
Autodl服务器中Faster-rcnn(jwyang)复现(一) 目录 一、数据准备二、修改源代码三、开始训练四、开始测试五、开始推理 一、数据准备
第一步查看VOC数据集得文件夹tree结构
VOCdevkit2007
└── VOC2007├── Annotations├── ImageSets│ └── Main│ ├── test.txt│ ├── train.txt│ ├── trainval.txt│ └── val.txt└── JPEGImages其中Annotations内放xml标注文件JPEGImages内放图片ImageSets/Main/内的四个txt文件分别是测试集、训练集、训练验证集、验证集。自己数据集依然采用VOC2007数据集的类。
第二步制作自己数据集
1把原来的图片删掉位置是
/root/faster-rcnn/data/VOCdevkit2007/VOC2007/JPEGImages将自己数据集的图片上传至JPEGImages
2更改xml文件中属性值
用这个代码可以任意改变xml里的属性值比如你想把xml文件中类别名称改变或把图片名称、路径等值改变参考以下代码
#这里只修改folder部分
import os
import os.path
import xml.dom.minidompath /home/zhangxin/faster-rcnn.pytorch/data/VOCdevkit/VOC2007/Annotations/
files os.listdir(path) #得到文件夹下所有文件名称for xmlFile in files: #遍历文件夹if not os.path.isdir(xmlFile): #判断是否是文件夹,不是文件夹才打开print(xmlFile)#将获取的xml文件名送入到dom解析dom xml.dom.minidom.parse(os.path.join(path, xmlFile)) #输入xml文件具体路径root dom.documentElement#获取标签name以及folder的值name root.getElementsByTagName(name)folder root.getElementsByTagName(folder)#对每个xml文件的多个同样的属性值进行修改。此处将每一个folder属性修改为VOC2007for i in range(len(folder)): print(folder[i].firstChild.data)folder[i].firstChild.data VOC2007print(folder[i].firstChild.data)#将属性存储至xml文件中with open(os.path.join(path, xmlFile),w) as fh:dom.writexml(fh)print(已写入)这里修改folder部分与VOC一样
完成后同样把原来的xml删掉位置是
/root/faster-rcnn/data/VOCdevkit2007/VOC2007/Annotations将自己数据集的图片上传至Annotations
3自己制作trainval.txt里面存储自己的待训练图片名称记住不要带.jpg后缀代码如下
# !/usr/bin/python
# -*- coding: utf-8 -*-
import os
import random trainval_percent 0.8 #trainval占比例多少
train_percent 0.7 #test数据集占比例多少
xmlfilepath /root/faster-rcnn/data/VOCdevkit2007/VOC2007/Annotations/
txtsavepath /root/faster-rcnn/data/VOCdevkit2007/VOC2007/ImageSets/Main/
total_xml os.listdir(xmlfilepath) numlen(total_xml)
listrange(num)
tvint(num*trainval_percent)
trint(tv*train_percent)
trainval random.sample(list,tv)
trainrandom.sample(trainval,tr) ftrainval open(/root/faster-rcnn/data/VOCdevkit2007/VOC2007/ImageSets/Main/trainval.txt, w)
ftest open(/root/faster-rcnn/data/VOCdevkit2007/VOC2007/ImageSets/Main/test.txt, w)
ftrain open(/root/faster-rcnn/data/VOCdevkit2007/VOC2007/ImageSets/Main/train.txt, w)
fval open(/root/faster-rcnn/data/VOCdevkit2007/VOC2007/ImageSets/Main/val.txt, w) for i in list: nametotal_xml[i][:-4]\n if i in trainval: ftrainval.write(name) if i in train: ftrain.write(name) else: fval.write(name) else: ftest.write(name) ftrainval.close()
ftrain.close()
fval.close()
ftest .close() 生成结果 二、修改源代码
第一步在lib\datasets\pascal_voc.py中更改self._classes中的类别添加自己的类 三、开始训练
训练之前一定要激活自己创建的my-env虚拟环境
conda activate my-env参考Autodl服务器中Faster-rcnn(jwyang)复现
CUDA_VISIBLE_DEVICES0 python trainval_net.py \--dataset pascal_voc --net vgg16 \--bs 4 --nw 0 \--lr 0.002 \--cuda报错1 原因在训练原数据集VOC时图像数量是5964张进行了数据增强这时会保存训练信息至缓存中文件路径为/home/mw/faster-rcnn/data/cache/voc_2007_trainval_gt_roidb.pkl 解决在重新训练新数据集的时候会读取这个缓存配置以加快训练那么此时就入坑了我的新集合只有994张所以训练时读的缓存里需要读的图像还是原来那5964张那势必会找不到这5964张图像所以要做的就是把这个缓存文件voc_2007_trainval_gt_roidb.pkl删除 报错2 解决过程https://blog.csdn.net/xzzppp/article/details/52036794
跑通如下 四、开始测试
python test_net.py --dataset pascal_voc --net vgg16 --checksession 1 --checkepoch 3 --checkpoint 2384 --cuda解决与上述相似把这个缓存文件/home/mw/faster-rcnn/data/cache/voc_2007_test_gt_roidb.pkl删除
效果如下 在VOC上12个class的mAP为83.4%
五、开始推理
第一步修改demo.py中pascal_classes类别 第二步把几张测试图片放到images中 第三步运行demo.py
python demo.py --net vgg16 --checksession 1 --checkepoch 3 --checkpoint 2384 --cuda --load_dir models推理结果如下 好了到这一步关于faster-rcnn训练自己的数据集就结束了完结撒花~
