网站不交换友情链接可以吗,企业网站开发的文献综述,wordpress本地主题,西安市市政建设网站权重衰减从零开始实现
#高维线性回归
%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l#整个流程是#xff0c;1.生成标准数据集#xff0c;包括训练数据和测试数据
# 2.定义线性模型训练
# 模型初始化#xff08;函…权重衰减从零开始实现
#高维线性回归
%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l#整个流程是1.生成标准数据集包括训练数据和测试数据
# 2.定义线性模型训练
# 模型初始化函数、包含惩罚项的损失函数
# 定义epochs进行训练每训练5轮评估一次模型在训练集和测试集的损失画图显示
# 训练结束后分别查看并比较是否添加范数惩罚项损失对应的训练结果w的L2范数
#生成数据集
n_train, n_test, num_inputs, batch_size 20, 100, 200, 5 #训练数据样本数20测试样本数100数据维度200批量大小5
true_w, true_b torch.ones((num_inputs, 1)) * 0.01, 0.05 #生成w矩阵(200,1),w值0.01偏置b为0.05
train_data d2l.synthetic_data(true_w, true_b, n_train) #生成训练数据集X(20,200)y(20,1),yXwb噪声train_data接收返回的X,y
train_iter d2l.load_array(train_data, batch_size) #传入数据集和批量大小构造训练数据迭代器
test_data d2l.synthetic_data(true_w, true_b, n_test) #生成测试数据集
test_iter d2l.load_array(test_data, batch_size, is_trainFalse) #构造测试数据迭代器#初始化模型参数
def init_params():w torch.normal(0, 1, size(num_inputs, 1), requires_gradTrue)b torch.zeros(1, requires_gradTrue)return [w, b]#定义L2范数惩罚项
def l2_penalty(w):return torch.sum(w.pow(2)) / 2 #L2范数公式需要开平方根但这里L2范数惩罚项是L2范数的平方所以不需要开平方根了#训练代码
def train(lambd): #输入λ超参数w, b init_params() #初始化模型参数net, loss lambda X: d2l.linreg(X, w, b), d2l.squared_loss #net线性模型torch.matmul(X, w) b;loss是均方误差num_epochs, lr 100, 0.003animator d2l.Animator(xlabelepochs, ylabelloss, yscalelog,xlim[5, num_epochs], legend[train, test])for epoch in range(num_epochs): #进行多次迭代训练for X, y in train_iter: #每个epoch取训练数据# 增加了L2范数惩罚项# 广播机制使l2_penalty(w)成为一个长度为batch_size的向量l loss(net(X), y) lambd * l2_penalty(w) #loss计算加上了λ×范数惩罚项l.sum().backward() #这里计算损失和下面参数更新时会对梯度求平均再更新参数d2l.sgd([w, b], lr, batch_size) #进行参数更新操作if (epoch 1) % 5 0: #每5次epoch训练评估一次模型的训练损失和测试损失animator.add(epoch 1, (d2l.evaluate_loss(net, train_iter, loss),d2l.evaluate_loss(net, test_iter, loss)))print(w的L2范数是, torch.norm(w).item()) #训练结束后计算w的L2范数没有平方
#λ为0无正则化项训练
train(lambd0)
d2l.plt.show()#λ为10有正则化项训练
train(lambd5)
d2l.plt.show()权重衰减的简洁实现
#权重衰减的简洁实现
def train_concise(wd):net nn.Sequential(nn.Linear(num_inputs, 1)) #定义模型for param in net.parameters(): #初始化参数param.data.normal_()loss nn.MSELoss(reductionnone) #计算loss这里不包含正则项num_epochs, lr 100, 0.003# 偏置参数没有衰减#在参数优化部分计算梯度时加入了权重衰减#所以是计算loss时没计算正则项只是在计算梯度时加入了权重衰减吗trainer torch.optim.SGD([{params:net[0].weight,weight_decay: wd},{params:net[0].bias}], lrlr)animator d2l.Animator(xlabelepochs, ylabelloss, yscalelog,xlim[5, num_epochs], legend[train, test])for epoch in range(num_epochs): #训练100轮for X, y in train_iter: #对于每轮取数据训练trainer.zero_grad() #梯度清零l loss(net(X), y) #计算lossl.mean().backward() #反向传播trainer.step() #更新梯度if (epoch 1) % 5 0: #每5轮评估一次模型在测试集和训练集的损失animator.add(epoch 1,(d2l.evaluate_loss(net, train_iter, loss),d2l.evaluate_loss(net, test_iter, loss)))print(w的L2范数, net[0].weight.norm().item())#没有进行权重衰减
train_concise(0)#进行权重衰减
train_concise(5)
