html5 php网站源码下载,wordpress 星星评分,电子商务门户网站的研究与实现,手机兼职的正规平台有哪些如是我闻#xff1a; 让我们来用一个具体的例子说明 Batch Normalization 在 CNN 里的计算过程#xff0c;特别是如何对每个通道#xff08;channel#xff09;进行归一化。 1. 假设我们有一个 CNN 层的输出
假设某个 CNN 层的输出是一个 4D 张量#xff0c;形状为#…如是我闻 让我们来用一个具体的例子说明 Batch Normalization 在 CNN 里的计算过程特别是如何对每个通道channel进行归一化。 1. 假设我们有一个 CNN 层的输出
假设某个 CNN 层的输出是一个 4D 张量形状为 X ( m , C , H , W ) X (m, C, H, W) X(m,C,H,W) 其中 m 2 m 2 m2batch 大小 2即有 2 张图片 C 3 C 3 C3通道数 3比如 RGB 三个通道 H 2 , W 2 H 2, W 2 H2,W2特征图大小是 2 × 2 2 \times 2 2×2
现在我们假设输入数据如下仅展示一个通道的数据 X [ 样本 1: [ [ 1 , 2 ] [ 3 , 4 ] [ 5 , 6 ] [ 7 , 8 ] ] 样本 2: [ [ 2 , 3 ] [ 4 , 5 ] [ 6 , 7 ] [ 8 , 9 ] ] ] X \begin{bmatrix} \text{样本 1:} \begin{bmatrix} [1, 2] [3, 4] \\ [5, 6] [7, 8] \end{bmatrix} \\ \text{样本 2:} \begin{bmatrix} [2, 3] [4, 5] \\ [6, 7] [8, 9] \end{bmatrix} \end{bmatrix} X 样本 1:样本 2:[[1,2][5,6][3,4][7,8]][[2,3][6,7][4,5][8,9]]
这个数据表示的是 一个 batch2 张图片每张图片有一个 2 × 2 2 \times 2 2×2 特征图。 2. 计算均值和方差
(1) 计算均值
我们需要对所有样本的这个通道进行归一化所以我们计算该通道在所有样本上的均值 μ B 1 m × H × W ∑ i 1 m ∑ j 1 H ∑ k 1 W x i , j , k \mu_B \frac{1}{m \times H \times W} \sum_{i1}^{m} \sum_{j1}^{H} \sum_{k1}^{W} x_{i, j, k} μBm×H×W1i1∑mj1∑Hk1∑Wxi,j,k
代入数据 μ B 1 2 × 2 × 2 ( 1 2 3 4 5 6 7 8 2 3 4 5 6 7 8 9 ) \mu_B \frac{1}{2 \times 2 \times 2} (12345678 23456789) μB2×2×21(1234567823456789) 76 8 9.5 \frac{76}{8} 9.5 8769.5
(2) 计算方差
方差的计算公式 σ B 2 1 m × H × W ∑ i 1 m ∑ j 1 H ∑ k 1 W ( x i , j , k − μ B ) 2 \sigma_B^2 \frac{1}{m \times H \times W} \sum_{i1}^{m} \sum_{j1}^{H} \sum_{k1}^{W} (x_{i, j, k} - \mu_B)^2 σB2m×H×W1i1∑mj1∑Hk1∑W(xi,j,k−μB)2
代入计算 σ B 2 1 8 ( ( 1 − 4.75 ) 2 ( 2 − 4.75 ) 2 ( 3 − 4.75 ) 2 ( 4 − 4.75 ) 2 ⋯ ( 9 − 4.75 ) 2 ) \sigma_B^2 \frac{1}{8} \left( (1-4.75)^2 (2-4.75)^2 (3-4.75)^2 (4-4.75)^2 \dots (9-4.75)^2 \right) σB281((1−4.75)2(2−4.75)2(3−4.75)2(4−4.75)2⋯(9−4.75)2) 1 8 ( 14.06 7.56 3.06 0.56 0.56 3.06 7.56 14.06 ) \frac{1}{8} \left( 14.06 7.56 3.06 0.56 0.56 3.06 7.56 14.06 \right) 81(14.067.563.060.560.563.067.5614.06) 50.44 8 6.305 \frac{50.44}{8} 6.305 850.446.305 3. 归一化数据
标准化公式 x ^ i , j , k x i , j , k − μ B σ B 2 ϵ \hat{x}_{i,j,k} \frac{x_{i,j,k} - \mu_B}{\sqrt{\sigma_B^2 \epsilon}} x^i,j,kσB2ϵ xi,j,k−μB
假设 ϵ 1 0 − 5 \epsilon 10^{-5} ϵ10−5很小可以忽略不计那么 x ^ i , j , k x i , j , k − 4.75 6.305 \hat{x}_{i,j,k} \frac{x_{i,j,k} - 4.75}{\sqrt{6.305}} x^i,j,k6.305 xi,j,k−4.75
计算部分归一化的值只展示部分 x ^ 1 , 1 , 1 1 − 4.75 6.305 ≈ − 3.75 2.51 ≈ − 1.49 \hat{x}_{1,1,1} \frac{1 - 4.75}{\sqrt{6.305}} \approx \frac{-3.75}{2.51} \approx -1.49 x^1,1,16.305 1−4.75≈2.51−3.75≈−1.49 x ^ 1 , 1 , 2 2 − 4.75 2.51 ≈ − 1.10 \hat{x}_{1,1,2} \frac{2 - 4.75}{2.51} \approx -1.10 x^1,1,22.512−4.75≈−1.10 x ^ 2 , 2 , 2 9 − 4.75 2.51 ≈ 1.70 \hat{x}_{2,2,2} \frac{9 - 4.75}{2.51} \approx 1.70 x^2,2,22.519−4.75≈1.70
经过这个过程所有特征都会变成均值 0方差 1。 4. 通过可学习参数进行缩放和平移
为了让网络有更强的表达能力BN 引入了两个可学习参数 y i , j , k γ x ^ i , j , k β y_{i,j,k} \gamma \hat{x}_{i,j,k} \beta yi,j,kγx^i,j,kβ γ \gamma γ 控制缩放scale。 β \beta β 控制偏移shift。
如果 γ 2 , β 0.5 \gamma 2, \beta 0.5 γ2,β0.5那么 y 1 , 1 , 1 2 × ( − 1.49 ) 0.5 − 2.48 y_{1,1,1} 2 \times (-1.49) 0.5 -2.48 y1,1,12×(−1.49)0.5−2.48 y 1 , 1 , 2 2 × ( − 1.10 ) 0.5 − 1.70 y_{1,1,2} 2 \times (-1.10) 0.5 -1.70 y1,1,22×(−1.10)0.5−1.70 y 2 , 2 , 2 2 × ( 1.70 ) 0.5 3.90 y_{2,2,2} 2 \times (1.70) 0.5 3.90 y2,2,22×(1.70)0.53.90 5. 结果解释
(1) 归一化后所有数据均值接近 0方差接近 1
这样可以稳定训练过程防止梯度消失或梯度爆炸。
(2) 通过 γ \gamma γ 和 β \beta β 让网络恢复部分信息
这样可以确保 BN 不会限制网络的表达能力同时还能优化训练。 6. 总的来说
Batch Normalization 在 CNN 里是对每个通道单独归一化而不是整个输入张量归一化。计算过程 计算当前 batch 每个通道的均值和方差。对该通道的所有数据进行归一化使其均值为 0方差为 1。通过可学习参数 γ \gamma γ 和 β \beta β 进行缩放和平移使得网络仍然能够学习适应的特征分布。 最终作用 减少 Internal Covariate Shift内部协变量偏移。加速收敛提高稳定性。降低对超参数如学习率、初始化的依赖。 以上
