网站开发中网页之间的连接形式有,成都自由行攻略最详细,wordpress添加海报分享功能,做直播大秀的平台和网站部分深度学习网络默认是多卡并行训练的#xff0c;由于某些原因#xff0c;有时需要指定在某单卡上训练#xff0c;最近遇到一个#xff0c;这里总结如下。 目录 一、多卡训练1.1 修改配置文件1.2 修改主训练文件1.3 显卡使用情况 二、单卡训练2.1 修改配置文件2.2 显卡使…部分深度学习网络默认是多卡并行训练的由于某些原因有时需要指定在某单卡上训练最近遇到一个这里总结如下。 目录 一、多卡训练1.1 修改配置文件1.2 修改主训练文件1.3 显卡使用情况 二、单卡训练2.1 修改配置文件2.2 显卡使用情况 三、总结 一、多卡训练
1.1 修改配置文件 1.2 修改主训练文件 上面红框中代码解析
if torch.cuda.is_available() and ngpu 1: # 当 torch.cuda.is_available() 为真且 ngpu 1 时 model nn.DataParallel(model, device_idslist(range(ngpu)))model nn.DataParallel(model, device_idslist(range(ngpu)))
此行代码创建了一个 DataParallel包装器用于在多个GPU上并行处理神经网络模型。DataParallel 是 PyTorch 中的一个模块它可以将输入数据分割并发送到不同的GPU进行处理然后汇总结果。
model要并行化的神经网络模型。
device_idslist(range(ngpu))指定要使用的GPU。在这里它使用了所有可用的GPU数量上限为指定的 ngpu。
1.3 显卡使用情况 二、单卡训练
2.1 修改配置文件 2.2 显卡使用情况
修改好后开始训练查看显卡使用情况 三、总结
以上就是多卡GPU训练与单卡GPU训练相互切换的操作过程希望能帮到你谢谢
