网站建设定制价格明细表,用照片做的ppt模板下载网站,装修设计效果图大全免费,百度网站制作推广DataLoader1.数据预处理在将数据提供给模型之前#xff0c;DataLoader需要对数据进行预处理。预处理可以包括数据增强、归一化、裁剪、缩放等操作。这些操作可以提高模型的性能和准确度。在处理点云数据时#xff0c;可以通过最远点下采样到固定的点数。2.读取标签文件我 1 2…DataLoader1.数据预处理在将数据提供给模型之前DataLoader需要对数据进行预处理。预处理可以包括数据增强、归一化、裁剪、缩放等操作。这些操作可以提高模型的性能和准确度。在处理点云数据时可以通过最远点下采样到固定的点数。2.读取标签文件我 1 2 3爱 45 6pythonmatrix_file open(D:\py_code\w123.txt, r, encodingutf-8) # 打开文件
lines matrix_file.readlines() # 读取文件中的所有行
print(lines)
print(len(lines))结果
[我 1 2 3\n, 爱 45 6\n, python]
33.数据集的划分生成数据集的训练集、测试集和全部数据集的文件列表并保存为txt文件训练集的比例可以自行设置4.加载数据类MyDataset(Dataset)类包含__init__(),__len__(),__getitem__()等函数Dataset父类所有开发人员训练、测试使用的所有数据集的一个模板或者抽象该类是一个抽象类所有的数据集想要在数据与标签之间建立映射都需要继承这个类所有的子类都需要重写__getitem__方法该方法根据索引值获取每一个数据并且获取其对应的Label子类也可以重写__len__方法返回数据集的size大小MyDataset子类是一个具体的数据集继承父类的所有方法和属性如何重写Dataset【深度学习】PyTorch Dataset类的使用与实例分析 - 知乎 (zhihu.com)在明确如何组装路径、获取路径中的文件名以及获取具体数据对象后重写方法__init()存储数据目录下的所有文件名__len__获取数据集的长度__getitem__()返回的是数据项并非整个数据集可以让索引与数据集中的具体数据对应起来from torch.utils.data import Datasetclass MyDataset(Dataset):def __init__(self):#一个函数中的变量是不能拿到另外一个函数中使用的self可以当做类中的全局变量print(1)def __len__(self):print(2)def __getitem__(selfidx):print(3)
dataset MyDataset()#会自动调用__init__方法结果
15.创建数据加载器data MyDataset()#实例化
DataLoader torch.utils.data.DataLoader(data, batch_size64, shuffleTrue)将样本按照batch_size(每个批次包含的样本数量)进行分批并在每个epoch所有样本被遍历一遍开始时随机打乱数据Traindef parse_args()参数包含batch_size/model/epoch/learning_rate/gpu/optimizier/data_path/result_savepath/check_savepath/log_dir/decay_rate等def valid(model,loader)在验证集上测试网络模型的性能返回精度3.def main(args)设置在哪个gpu上跑创建目录设置日志文件记录训练过程中的一些信息加载训练和测试数据加载模型修改学习率(6条消息) 【深度学习】学习率 (learning rate)_深度学习的学习速率_JNingWei的博客-CSDN博客训练每一个epoch训练一次使用验证集验证验证集专门用来看看每经过1个epoch的训练之后网络性能如何可以用测试集代替验证集(7条消息) 测试集可用作验证集验证集不能来自训练集(交叉验证留一法)_验证集可以当测试集吗_doubleslow;的博客-CSDN博客Testdef parse_args()参数包含batch_size/model/gpu/data_path/save_path/pth_path等2.def main(args)创建数据保存目录加载测试数据加载模型训练得到的最优模型
