单页加盟网站模板,wordpress主题模板制作教程,网站建设的毕业设计报告,哈密建设集团有限责任公司网站目录
0. 前言
正文#xff1a;参数管理
1. 参数访问
1.1 [目标参数]
1.2 [一次性访问所有参数]
1.3 [从嵌套块收集参数]
2. 参数初始化
2.1 [内置初始化]
2.2 [自定义初始化]
2.3 [参数绑定-共享参数]
3. 小结#xff08;第2节#xff09;
4. 延后初始化 (原书第…目录
0. 前言
正文参数管理
1. 参数访问
1.1 [目标参数]
1.2 [一次性访问所有参数]
1.3 [从嵌套块收集参数]
2. 参数初始化
2.1 [内置初始化]
2.2 [自定义初始化]
2.3 [参数绑定-共享参数]
3. 小结第2节
4. 延后初始化 (原书第5章第3节)
4.1 实例化网络
4.2 小结第3节 0. 前言 课程全部代码pytorch版已上传到附件本章为原书第5章共分为5节本篇是第2-3节参数管理每层的权重/偏置 第1节《动手学深度学习》笔记2.1——神经网络从基础→进阶 (层和块 - 自定义块)-CSDN博客第4节《动手学深度学习》笔记2.3——神经网络从基础→进阶 (自定义层)-CSDN博客本节的代码位置chapter_deep-learning-computation/parameters.ipynb本节的视频链接 参数管理_哔哩哔哩_bilibili 正文参数管理
在选择了架构并设置了超参数后我们就进入了训练阶段。 此时我们的目标是找到使损失函数最小化的模型参数值。 经过训练后我们将需要使用这些参数来做出未来的预测。 此外有时我们希望提取参数以便在其他环境中复用它们 将模型保存下来以便它可以在其他软件中执行 或者为了获得科学的理解而进行检查。
之前的介绍中我们只依靠深度学习框架来完成训练的工作 而忽略了操作参数的具体细节。 本节我们将介绍以下内容
访问参数用于调试、诊断和可视化参数初始化在不同模型组件间共享参数。
(我们首先看一下具有单隐藏层的多层感知机。)
In [1]:
import torch
from torch import nn
net nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1)) # 传入的三个net[0],net[1],net[2]
X torch.rand(size(2, 4)) # 生成随机size(2, 4)的输入2指的是batch size
net(X)
Out[1]:
tensor([[-0.0606],[-0.1188]], grad_fnAddmmBackward0) 1. 参数访问
我们从已有模型中访问参数。 当通过Sequential类定义模型时 我们可以通过索引来访问模型的任意层。 这就像模型是一个列表一样每层的参数都在其属性中。 如下所示我们可以检查第二个全连接层的参数。
In [2]:
print(net[2].state_dict()) # state_dict()拿出net中第3层的参数有weight和bias(偏置)两个参数
Out[2]:
OrderedDict([(weight, tensor([[-0.1403, 0.0922, -0.1609, -0.1838, 0.3141, 0.0916, -0.1625, -0.0127]])), (bias, tensor([-0.1967]))])输出的结果告诉我们一些重要的事情 首先这个全连接层包含两个参数分别是该层的权重和偏置。 两者都存储为单精度浮点数float32。 注意参数名称允许唯一标识每个参数即使在包含数百个层的网络中也是如此。
1.1 [目标参数]
注意每个参数都表示为参数类的一个实例。 要对参数执行任何操作首先我们需要访问底层的数值。 有几种方法可以做到这一点。有些比较简单而另一些则比较通用。 下面的代码从第二个全连接层即第三个神经网络层提取偏置 提取后返回的是一个参数类实例并进一步访问该参数的值。
In [3]:
print(type(net[2].bias)) # Parameter指的是可以优化的参数这是一个type
print(net[2].bias) # 输出Parameter containing: tensor([0.1474], requires_gradTrue)
print(net[2].bias.data) # .data访问值本身.grad来访问梯度
Out[3]:
class torch.nn.parameter.Parameter
Parameter containing:
tensor([-0.1967], requires_gradTrue)
tensor([-0.1967])参数是复合的对象包含值、梯度和额外信息。 这就是我们需要显式参数值的原因。 除了值之外我们还可以访问每个参数的梯度。 在上面这个网络中由于我们还没有调用反向传播所以参数的梯度处于初始状态。
In [4]:
net[2].weight.grad None # .data访问值本身.grad来访问梯度咱这里还没做反向计算还没有梯度
# 对损失函数求导用反向传播(链式法则)最后使用优化算法(如SGD、Adam等)一次性更新网络的参数
Out[4]:
True 1.2 [一次性访问所有参数]
当我们需要对所有参数执行操作时逐个访问它们可能会很麻烦。 当我们处理更复杂的块例如嵌套块时情况可能会变得特别复杂 因为我们需要递归整个树来提取每个子块的参数。 下面我们将通过演示来比较访问第一个全连接层的参数和访问所有层。
In [5]:
print(*[(name, param.shape) for name, param in net[0].named_parameters()]) # 拿出第0个net的每个参数形状
print(*[(name, param.shape) for name, param in net.named_parameters()]) # net[1]是nn.ReLU()不显示
# 这里的weight, torch.Size([8, 4])和前面的nn.Linear(4, 8)相反在前向传播时pytorch会自动给weight做转置
Out [5]:
(weight, torch.Size([8, 4])) (bias, torch.Size([8]))
(0.weight, torch.Size([8, 4])) (0.bias, torch.Size([8])) (2.weight, torch.Size([1, 8])) (2.bias, torch.Size([1]))拓展关于这个转置的问题本人尝试询问CSDN代码大模型C知道回答得很不错下方有截图 之所以将权重矩阵设计为 (out_channels, in_channels) 把out_channels(实际是列)放前面是为了方便拿列来进行矩阵乘法运算符合计算机内存布局的优化从而提高计算效率。 这为我们提供了另一种访问网络参数的方式如下所示。
In [6]:
net.state_dict()[2.bias].data # net[2]的bias的值
Out[6]:
tensor([-0.1967]) 1.3 [从嵌套块收集参数]
让我们看看如果我们将多个块相互嵌套参数命名约定是如何工作的。 我们首先定义一个生成块的函数可以说是“块工厂”然后将这些块组合到更大的块中。
In [7]:
def block1():return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),nn.Linear(8, 4), nn.ReLU())def block2():net nn.Sequential()for i in range(4):# 在这里嵌套net.add_module(fblock {i}, block1()) # 4个 block1 拼到了一起return net
rgnet nn.Sequential(block2(), nn.Linear(4, 1))
rgnet(X)
Out[7]:
tensor([[0.4036],[0.4036]], grad_fnAddmmBackward0) [设计了网络后我们看看它是如何工作的。]
In [8]:
print(rgnet)
Out[8]:
Sequential((0): Sequential((block 0): Sequential((0): Linear(in_features4, out_features8, biasTrue)(1): ReLU()(2): Linear(in_features8, out_features4, biasTrue)(3): ReLU())(block 1): Sequential((0): Linear(in_features4, out_features8, biasTrue)(1): ReLU()(2): Linear(in_features8, out_features4, biasTrue)(3): ReLU())(block 2): Sequential((0): Linear(in_features4, out_features8, biasTrue)(1): ReLU()(2): Linear(in_features8, out_features4, biasTrue)(3): ReLU())(block 3): Sequential((0): Linear(in_features4, out_features8, biasTrue)(1): ReLU()(2): Linear(in_features8, out_features4, biasTrue)(3): ReLU()))(1): Linear(in_features4, out_features1, biasTrue)
)因为层是分层嵌套的所以我们也可以像通过嵌套列表索引一样访问它们。 下面我们访问第一个主要的块中、第二个子块的第一层的偏置项。
In [9]:
rgnet[0][1][0].bias.data
Out[9]:
tensor([-0.3955, 0.2888, -0.2878, -0.1033, -0.1986, -0.3564, 0.1886, 0.1515]) 2. 参数初始化
知道了如何访问参数后现在我们看看如何正确地初始化参数。 我们在 :numref:sec_numerical_stability中讨论了良好初始化的必要性。 深度学习框架提供默认随机初始化 也允许我们创建自定义初始化方法 满足我们通过其他规则实现初始化权重。
默认情况下PyTorch会根据一个范围均匀地初始化权重和偏置矩阵 这个范围是根据输入和输出维度计算出的。 PyTorch的nn.init模块提供了多种预置初始化方法。 2.1 [内置初始化]
让我们首先调用内置的初始化器。 下面的代码将所有权重参数初始化为标准差为0.01的高斯随机变量 且将偏置参数设置为0。
In [10]:
def init_normal(m): # m指每次传入一个Module块按照正态分布初始化参数if type(m) nn.Linear: # 只对全连接层初始化别的(比如relu)咱就不管啦nn.init.normal_(m.weight, mean0, std0.01) # 权重参数初始化为均值为0方差为0.01nn.init.zeros_(m.bias) # 将偏置参数设置为0末尾的“_”指函数执行后会替换bias没有返回值net.apply(init_normal) # apply()相当于“for loop”循环对net里面所有Module都执行init_normal遍历一遍
net[0].weight.data[0], net[0].bias.data[0]
Out[10]:
(tensor([ 0.0216, -0.0067, 0.0025, 0.0014]), tensor(0.))
我们还可以将所有参数初始化为给定的常数比如初始化为1。
In [11]:
def init_constant(m): # 初始化为恒定的constant(常数)算法层面咱不能初始化为常数这里只是展示一种可能性if type(m) nn.Linear:nn.init.constant_(m.weight, 1) # 把权重矩阵每一个元素初始化为1实际上会导致梯度消失/爆炸等问题nn.init.zeros_(m.bias) # 这里只是展示一种拓展性net.apply(init_constant)
net[0].weight.data[0], net[0].bias.data[0]
Out[11]:
(tensor([1., 1., 1., 1.]), tensor(0.))
我们还可以[对某些块应用不同的初始化方法]。 例如下面我们使用Xavier初始化方法初始化第一个神经网络层 然后将第三个神经网络层初始化为常量值42。
In [12]:
def init_xavier(m): # xavier初始化在数值稳定性那里讲过if type(m) nn.Linear:nn.init.xavier_uniform_(m.weight)
def init_42(m):if type(m) nn.Linear:nn.init.constant_(m.weight, 42) # 42这个梗出自《银河系漫游指南》42是宇宙的答案~
net[0].apply(init_xavier) # 对不同的块应用不同的初始化函数
net[2].apply(init_42)
print(net[0].weight.data[0])
print(net[2].weight.data)
tensor([-0.5535, -0.0212, -0.4946, 0.4913])
tensor([[42., 42., 42., 42., 42., 42., 42., 42.]])2.2 [自定义初始化]
有时深度学习框架没有提供我们需要的初始化方法。 在下面的例子中我们使用以下的分布为任意权重参数定义初始化方法 同样我们实现了一个my_init函数来应用到net。
In [13]:
def my_init(m): # 更罕见的初始化展示一下自定义初始化作为拓展实际用不上if type(m) nn.Linear:print(Init, *[(name, param.shape) # print一些debug信息for name, param in m.named_parameters()][0])nn.init.uniform_(m.weight, -10, 10)m.weight.data * m.weight.data.abs() 5
net.apply(my_init)
net[0].weight[:2]
Init weight torch.Size([8, 4])
Init weight torch.Size([1, 8])
Out[13]:
tensor([[ 0.0000, -8.9999, 9.9201, -9.2975],[-0.0000, 0.0000, 5.7322, -0.0000]], grad_fnSliceBackward0)
注意我们始终可以直接设置参数。
In [14]:
net[0].weight.data[:] 1 # 更简单直接的方法一个一个索引拿出来做替换
net[0].weight.data[0, 0] 42
net[0].weight.data[0]
Out[14]:
tensor([42.0000, -7.9999, 10.9201, -8.2975]) 2.3 [参数绑定-共享参数]
简单应用一下之前所学后面会用到参数绑定有时我们希望在多个层间共享参数 我们可以定义一个稠密层然后使用它的参数来设置另一个层的参数。
In [15]:
# 我们需要给共享层一个名称以便可以引用它的参数
shared nn.Linear(8, 8)
net nn.Sequential(nn.Linear(4, 8), nn.ReLU(),shared, nn.ReLU(), # 参数绑定的层参数形状、大小完全一致shared, nn.ReLU(), # 参数绑定两个共享层的梯度不是一样的但它们会累加到同一组参数上nn.Linear(8, 1)) # 在反向传播完成后使用优化算法(如SGD、Adam等)一次性更新网络的参数
net(X)
# 检查参数是否相同
print(net[2].weight.data[0] net[4].weight.data[0])
net[2].weight.data[0, 0] 100 # 修改了其中一个权重
# 确保它们实际上是同一个对象而不只是有相同的值
print(net[2].weight.data[0] net[4].weight.data[0]) # 另一个也同时修改了因为指向同一个对象(实例)shared
Out[15]:
tensor([True, True, True, True, True, True, True, True])
tensor([True, True, True, True, True, True, True, True])这个例子表明第三个和第五个神经网络层的参数是绑定的。 它们不仅值相等而且由相同的张量表示。 因此如果我们改变其中一个参数另一个参数也会改变。 这里有一个问题当参数绑定时梯度会发生什么情况 答案是由于模型参数包含梯度因此在反向传播期间第二个隐藏层 即第三个神经网络层和第三个隐藏层即第五个神经网络层的梯度会加在一起。 3. 小结第2节
我们有几种方法可以访问、初始化和绑定模型参数。我们可以使用自定义初始化方法。 4. 延后初始化 (原书第5章第3节)
到目前为止我们忽略了建立网络时需要做的以下这些事情
我们定义了网络架构但没有指定输入维度。我们添加层时没有指定前一层的输出维度。我们在初始化参数时甚至没有足够的信息来确定模型应该包含多少参数。
有些读者可能会对我们的代码能运行感到惊讶。 毕竟深度学习框架无法判断网络的输入维度是什么。 这里的诀窍是框架的延后初始化defers initialization 即直到数据第一次通过模型传递时框架才会动态地推断出每个层的大小。
在以后当使用卷积神经网络时 由于输入维度即图像的分辨率将影响每个后续层的维数 有了该技术将更加方便。 现在我们在编写代码时无须知道维度是什么就可以设置参数 这种能力可以大大简化定义和修改模型的任务。 接下来我们将更深入地研究初始化机制。 4.1 实例化网络
首先让我们实例化一个多层感知机。
此时因为输入维数是未知的所以网络不可能知道输入层权重的维数。 因此框架尚未初始化任何参数我们通过尝试访问以下参数进行确认。
接下来让我们将数据通过网络最终使框架初始化参数。
一旦我们知道若输入维数是20框架可以通过代入值20来识别第一层权重矩阵的形状。 识别出第一层的形状后框架处理第二层依此类推直到所有形状都已知为止。 注意在这种情况下只有第一层需要延迟初始化但是框架仍是按顺序初始化的。 等到知道了所有的参数形状框架就可以初始化参数。 4.2 小结第3节
延后初始化使框架能够自动推断参数形状使修改模型架构变得容易避免了一些常见的错误。我们可以通过模型传递数据使框架最终初始化参数。
