搜索网站做淘宝客,网站建设编码,网站建设好就业吗,公司网站用什么cms系统#x1f34a;嗨#xff0c;大家好#xff0c;我是小森( #xfe61;ˆoˆ#xfe61; )#xff01; 易编橙终身成长社群创始团队嘉宾#xff0c;橙似锦计划领衔成员、阿里云专家博主、腾讯云内容共创官、CSDN人工智能领域优质创作者 。 易编橙#xff1a;一个帮助编程小… 嗨大家好我是小森( ˆoˆ ) 易编橙·终身成长社群创始团队嘉宾橙似锦计划领衔成员、阿里云专家博主、腾讯云内容共创官、CSDN人工智能领域优质创作者 。 易编橙一个帮助编程小伙伴少走弯路的终身成长社群 上一部分我们自己通过torch的方法完成反向传播和参数更新在Pytorch中预设了一些更加灵活简单的对象让我们来构造模型、定义损失优化损失等那么接下来我们一起来了解一下其中常用的API nn.Module
nn.Module 是 PyTorch 框架中用于构建所有神经网络模型的基类。在 PyTorch 中几乎所有的神经网络模块如层、卷积层、池化层、全连接层等都继承自 nn.Module。这个类提供了构建复杂网络所需的基本功能如参数管理、模块嵌套、模型的前向传播等。
当我们自定义网络的时候有两个方法需要特别注意 __init__需要调用super方法继承父类的属性和方法 farward方法必须实现用来定义我们的网络的向前计算的过程
用前面的y wxb的模型举例如下
from torch import nn
class Lr(nn.Module):def __init__(self):super(Lr, self).__init__() # 继承父类init的参数self.linear nn.Linear(1, 1) def forward(self, x):out self.linear(x)return out nn.Linear为torch预定义好的线性模型也被称为全链接层传入的参数为输入的数量输出的数量(in_features, out_features),是不算(batch_size的列数)nn.Module定义了__call__方法实现的就是调用forward方法即Lr的实例能够直接被传入参数调用实际上调用的是forward方法并传入参数__init__方法里面的内容就是类创建的时候跟着自动创建的部分。与之对应的就是__del__方法,在对象被销毁时执行一些清理操作。
# 实例化模型
model Lr()
# 传入数据计算结果
predict model(x) 优化器类
优化器(optimizer)可以理解为torch为我们封装的用来进行更新参数的方法比如常见的随机梯度下降(stochastic gradient descent,SGD)。
优化器类都是由torch.optim提供的例如 torch.optim.SGD(参数学习率) torch.optim.Adam(参数学习率)
注意 参数可以使用model.parameters()来获取获取模型中所有requires_gradTrue的参数 optimizer optim.SGD(model.parameters(), lr1e-3) # 实例化
optimizer.zero_grad() # 梯度置为0
loss.backward() # 计算梯度
optimizer.step() # 更新参数的值
损失函数 均方误差:nn.MSELoss(),常用于回归问题 交叉熵损失nn.CrossEntropyLoss()常用于分类问题
model Lr() # 实例化模型
criterion nn.MSELoss() # 实例化损失函数
optimizer optim.SGD(model.parameters(), lr1e-3) # 实例化优化器类
for i in range(100):y_predict model(x_true) # 预测值loss criterion(y_true,y_predict) # 调用损失函数传入真实值和预测值得到损失optimizer.zero_grad() loss.backward() # 计算梯度optimizer.step() # 更新参数的值 线性回归代码
import torch
from torch import nn
from torch import optim
import numpy as np
from matplotlib import pyplot as pltx torch.rand([50,1])
y x*3 0.8# 自定义线性回归模型
class Lr(nn.Module):def __init__(self):super(Lr,self).__init__()self.linear nn.Linear(1,1)def forward(self, x): # 模型的传播过程out self.linear(x)return out# 实例化模型loss和优化器
model Lr()
criterion nn.MSELoss()
optimizer optim.SGD(model.parameters(), lr1e-3)
#训练模型
for i in range(30000):out model(x) loss criterion(y,out) optimizer.zero_grad() loss.backward() optimizer.step() if (i1) % 20 0:print(Epoch[{}/{}], loss: {:.6f}.format(i,30000,loss.data))# 模型评估模式之前说过的
model.eval()
predict model(x)
predict predict.data.numpy()
plt.scatter(x.data.numpy(),y.data.numpy(),cr)
plt.plot(x.data.numpy(),predict)
plt.show() 可以看出经过30000次训练后(相当于看书一遍遍的回归学习)基本就可以拟合预期直线了 GPU上运行代码
当模型太大或者参数太多的情况下为了加快训练速度经常会使用GPU来进行训练
此时我们的代码需要稍作调整
1.判断GPU是否可用torch.cuda.is_available()
torch.device(cuda:0 if torch.cuda.is_available() else cpu)
device(typecuda, index0) # 使用GPU
2.把模型参数和input数据转化为cuda的支持类型
model.to(device)
x.to(device)
3.在GPU上计算结果也为cuda的数据类型需要转化为numpy或者torch的cpu的tensor类型
predict predict.cpu().detach().numpy()
predict.cpu() 将predict张量从可能的其他设备如GPU移动到CPU上predict.detach() .detach()方法会返回一个新的张量这个张量不再与原始计算图相关联即它不会参与后续的梯度计算。.numpy()方法将张量转换为NumPy数组。 GPU代码
import torch
from torch import nn
from torch import optim
import numpy as np
from matplotlib import pyplot as plt
import timex torch.rand([50,1])
y x*3 0.8class Lr(nn.Module):def __init__(self):super(Lr,self).__init__()self.linear nn.Linear(1,1)def forward(self, x):out self.linear(x)return outdevice torch.device(cuda:0 if torch.cuda.is_available() else cpu)
x,y x.to(device),y.to(device)model Lr().to(device)
criterion nn.MSELoss()
optimizer optim.SGD(model.parameters(), lr1e-3)for i in range(300):out model(x)loss criterion(y,out)optimizer.zero_grad()loss.backward()optimizer.step()if (i1) % 20 0:print(Epoch[{}/{}], loss: {:.6f}.format(i,30000,loss.data))model.eval()
predict model(x)
predict predict.cpu().detach().numpy()
plt.scatter(x.cpu().data.numpy(),y.cpu().data.numpy(),cr)
plt.plot(x.cpu().data.numpy(),predict,)
plt.show() 常见的优化算法
在大多数情况下我们关注的是最小化损失函数因为它衡量了模型预测与真实标签之间的差异。
梯度下降算法batch gradient descent BGD
每次迭代都需要把所有样本都送入这样的好处是每次迭代都顾及了全部的样本做的是全局最优化,但是有可能达到局部最优。
随机梯度下降法 (Stochastic gradient descent SGD)
针对梯度下降算法训练速度过慢的缺点提出了随机梯度下降算法随机梯度下降算法算法是从样本中随机抽出一组训练后按梯度更新一次然后再抽取一组再更新一次在样本量及其大的情况下可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。
小批量梯度下降 (Mini-batch gradient descent MBGD
SGD相对来说要快很多但是也有存在问题由于单个样本的训练可能会带来很多噪声使得SGD并不是每次迭代都向着整体最优化方向因此在刚开始训练时可能收敛得很快但是训练一段时间后就会变得很慢。在此基础上又提出了小批量梯度下降法它是每次从样本中随机抽取一小批进行训练而不是一组这样即保证了效果又保证的速度。
AdaGrad
AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方用全局学习率除以这个数作为学习率的动态更新从而达到自适应学习率的效果
Adam
AdamAdaptive Moment Estimation算法是将Momentum算法和RMSProp算法结合起来使用的一种算法,能够达到防止梯度的摆幅多大同时还能够加开收敛速度。
