校园网站的系统建设小企业广告投放平台

本文重点

我们前面学习了优化器optim，然后学习了为神经网络不同层设置不同的学习率，本节课程我们讲解学习率衰减的方法，也就是说如何在训练过程中动态的修改学习率，本文介绍两种方法。本文是学习第6步(优化器)

为什么要进行学习率衰减

对于一阶梯度进行优化的方法而言，开始的时候更新的幅度是比较大的，也就是说刚开始进行梯度下降的时候可以将学习率设置的大一些，但是训练集的loss下降到一定的程度之后，使用这个太大的学习率就会导致loss一直来回震荡，那么此时我们就可以进行学习率的衰减。

pytorch中的学习率调整的两种方法

方法一：直接修改optimizer中的param_groups中队形的学习率lr

方法二：构建新的优化器

方法三：利用lr_scheduler()提供的几种衰减函数

方法一

import torch
import matplotlib.pyplot as plt
from torch.optim import *
import torch.nn as nn
class net(nn.Module):def __init__(self):super(net,self).__init__()self.fc = nn.Linear(1,10)def forward(self,x):return self.fc(x)
model = net()
LR = 0.01
optimize