深圳创意网站,我做的网站怎样推广,深圳哪里有做网站,成都网站开发建设推广如是我闻#xff1a; Parameter Sharing#xff08;参数共享#xff09;是卷积神经网络#xff08;CNN#xff09;的一个重要特性#xff0c;帮助它高效地处理数据。参数共享的本质就是参数“本来也没有变过”。换句话说#xff0c;在卷积层中#xff0c;卷积核的参数 Parameter Sharing参数共享是卷积神经网络CNN的一个重要特性帮助它高效地处理数据。参数共享的本质就是参数“本来也没有变过”。换句话说在卷积层中卷积核的参数权重和偏置是固定不变的在整个输入上重复使用。 什么是参数共享Parameter Sharing
参数共享 是指 在卷积层中同一个卷积核filter在整个输入图像上重复使用计算所有局部区域的特征。 换句话说
对于每一层的卷积操作同一个卷积核的权重在图像的不同位置是相同的。这样模型在处理不同位置的局部区域时使用的是相同的参数权重。 参数共享是如何实现的
1. 卷积核在空间维度上的滑动
假设输入是一个 32 × 32 32 \times 32 32×32的图像卷积核大小为 3 × 3 3 \times 3 3×3 卷积核会从左上角开始逐步在图像上滑动移动一个步长对每个 3 × 3 3 \times 3 3×3 区域执行点积计算。在滑动过程中卷积核的参数权重和偏置保持不变。这样卷积核在整个图像上提取相同类型的特征例如边缘、纹理等。
2. 跨通道的参数共享
如果输入图像有多个通道例如 RGB 图像有 3 个通道每个卷积核的深度与输入的通道数相同。卷积核的权重在所有输入通道上共享并综合每个通道的特征生成一个输出值。
3. 多个卷积核产生多个特征图
一层可以有多个卷积核比如 64 个每个卷积核学习不同的特征。每个卷积核的参数是独立的但它本身的参数在输入的不同位置是共享的。 为什么要使用参数共享
1. 减少参数数量
全连接层 如果输入是 32 × 32 32 \times 32 32×32 的图像假设有 1 个神经元连接整个图像则需要 32 × 32 1024 32 \times 32 1024 32×321024 个参数。如果有 1000 个神经元则需要 1024 × 1000 1 , 024 , 000 1024 \times 1000 1,024,000 1024×10001,024,000个参数。卷积层 使用一个大小为 3 × 3 3 \times 3 3×3的卷积核它只有 3 × 3 9 3 \times 3 9 3×39 个参数再加一个偏置共 10 个参数而它可以在整个图像上滑动重复使用。
因此参数共享大幅减少了模型的参数数量使模型更容易训练并减少过拟合的风险。
2. 捕获空间不变性
自然数据如图像中的某些特征是局部的和重复的。例如边缘、角点或纹理可能出现在图像的不同位置。参数共享允许卷积核在整个图像上“搜索”这些特征而无需为每个位置单独训练一组参数。
3. 提高计算效率
共享参数减少了计算量因为在整个输入上重复使用相同的权重而不是为每个位置训练独立的权重。 参数共享的一个具体示例
输入
假设输入是一个 32 × 32 × 3 32 \times 32 \times 3 32×32×3的 RGB 图像。
卷积核
使用一个大小为 3 × 3 × 3 3 \times 3 \times 3 3×3×3 的卷积核。该卷积核有 3 × 3 × 3 27 3 \times 3 \times 3 27 3×3×327 个权重加上 1 个偏置参数总共有 28 个参数。
滑动操作
卷积核会从左上角开始在整个图像上滑动逐步提取特征。对于每个 3 × 3 × 3 3 \times 3 \times 3 3×3×3 的局部区域卷积核会执行点积计算并生成一个输出值。卷积核的 28 个参数在整个 32 × 32 × 3 32 \times 32 \times 3 32×32×3 的输入上是共享的。
输出
如果输出特征图的大小是 30 × 30 30 \times 30 30×30假设没有填充那么整个输出中包含 30 × 30 900 30 \times 30 900 30×30900 个值这 900 个值是由同一个卷积核生成的。 没有参数共享会怎样
假如没有参数共享每个位置的感受野都需要一个独立的卷积核参数
如果输入是 32 × 32 × 3 32 \times 32 \times 3 32×32×3卷积核大小为 3 × 3 × 3 3 \times 3 \times 3 3×3×3输出大小是 30 × 30 × 1 30 \times 30 \times 1 30×30×1那么 每个位置需要独立的 3 × 3 × 3 27 3 \times 3 \times 3 27 3×3×327个参数。总参数数目为 30 × 30 × 27 24 , 300 30 \times 30 \times 27 24,300 30×30×2724,300。
相比之下使用参数共享时卷积核只需要 28 个参数包含偏置参数大幅减少。 卷积层的参数共享 vs 全连接层
特性卷积层参数共享全连接层无参数共享连接方式每个卷积核只与局部区域相连参数共享每个神经元与输入的所有单元相连参数数量参数数量较少参数共享参数数量多与输入规模成正比特征提取能力强调局部特征如边缘、纹理支持平移不变性更适合全局特征不支持局部模式提取计算效率更高因为参数共享且局部连接计算开销大特别是高维输入 总的来说 参数共享的本质 卷积核的权重在输入数据的不同区域共享从而减少参数数量并提高计算效率。 带来的优势 参数数量减少更易训练。特征共享对输入的不同位置学习相同的模式。提高模型的泛化能力降低过拟合风险。
以上
