第 N2 关 · 基础 · 经典网络 · 在浏览器里运行
English

残差与归一化

很深的网络为什么学不动了?后来是怎么解决的?

支线 · 最好在之后学: 第 10 · 概率与采样 关

这一关要用到 N1 和第 6–7 关。

层越多,网络应该越聪明。可是很多年里并不是这样:超过几十层后,网络反而变差了。 两个小改动解决了这个问题,它们都在你第 16 关要搭的每一个 Transformer 块里:

  1. 残差连接(residual connection),把一层的输入加回到它的输出上;
  2. 归一化(normalization),重新缩放数值,让它们待在稳定的范围里。

1. 更深应该更好。真的吗?

反向传播(第 6 关)把梯度一层一层往下传。每一层都把它乘上自己的斜率。 如果每个斜率都比 1 小一点,很多个乘起来就会非常小。

数字 一个普通堆叠有 4 层。往下传时,每一层都把梯度乘上它的斜率 0.5。顶部的梯度是 1。传到底部的是多少?

现在来看一个真实的堆叠。每一层是 h ← tanh(h @ W),宽 16 个数,权重从标准差为 0.8/√16 的正态分布里抽取。 这比第 7 关的规则 1/√16 稍小一点。

选择30 个普通 tanh 层。往下传时,每一层把梯度缩到原来的大约四分之三。顶部的梯度标准差是 1。传到第 0 层时,它大约有多大?

叠 30 个 tanh 层:信号和梯度还剩多少?

拖动深度和权重尺度。比较普通堆叠和残差堆叠。

往上走的信号 每一层输出的标准差
10011e-21e-41e-6普通残差0(输入)30(顶部)
往下回来的梯度 传到每一层的梯度的标准差
10011e-21e-41e-6普通残差0(输入)30(顶部)
第 0 层的梯度 ÷ 顶部的梯度:普通 1.3e-4,残差 11.22
普通:h ← tanh(h @ W) 残差:h ← h + tanh(h @ W) 对数刻度;虚线是 1

标着“普通”的线是普通堆叠。往上走,信号(每一层的输出)一层比一层小。往下回来,梯度也一样: 在 demo.py 里,梯度的标准差在顶部是 1.02,往下 10 层是 0.098,往下 20 层是 0.0059,到底部是 0.000135。 前面的几层几乎收不到学习信号,所以它们几乎不变。更深的普通网络最后可能比浅的还差。

我卡在这里了 第 7 关用一个好的初始尺度解决了这个问题。为什么还不够?

好的初始尺度只能保证第一步时数值在范围内。之后训练会改变每一个权重,tanh 单元会慢慢移到它平坦的两端, 那里斜率接近 0。三十个各自和 1 差一点的因子,乘起来仍然会非常小或非常大。 解决办法必须在权重变化时一直有效。残差连接做到了。

2. 残差通路

残差层把它的输入加回去:

hout=h+f(h)h_{\text{out}} = h + f(h)

ff 是要学习的那一层,这里是 tanh(h @ W)。拿一个数来看看这对梯度有什么影响。x+f(x)x + f(x) 的斜率是

ddx(x+f(x))=1+f′(x)\frac{d}{dx}\bigl(x + f(x)\bigr) = 1 + f'(x)
数字 一个残差层计算 y = x + f(x),其中 f(x) = 0.5 · x。斜率 dy/dx 是多少?

关键就是那个 1。即使 ff 的斜率接近 0,梯度仍然能沿着那条普通的 xx 通路,也就是残差通路(residual path),原封不动地往下传。 层 ff 在 + 的另一边:我们叫它层这一侧。十个斜率为 0.1 的普通层把梯度乘上 0.110=10−100.1^{10} = 10^{-10}。 十个用同样 ff 的残差层把它乘上 1.110≈2.591.1^{10} \approx 2.59。

看实验台里标着“残差”的线:传到第 0 层的梯度从不缩到 0。在这个堆叠里它甚至变大了,大约是顶部的 11 倍。 残差的信号也在变大,在 demo.py 里从输入的 0.97 变成 10、20、30 层之后的 2.33、3.46 和 4.39。 每个块都给 hh 加上一些东西,所以 hh 越来越大。数值不停变大是下一个问题,所以每个残差网络 也都要做归一化:第 4 节和第 5 节。

动手试试

把权重尺度设成 0.5,深度设成 50。普通堆叠的梯度往下掉了多少?残差的停在哪里? 然后试试尺度 1.5:现在普通堆叠出了什么问题?

深入一点 每层有很多个数时,为什么仍然是“1 + 某个东西”?

每层有 16 个数时,一层的斜率是一张 16×16 的斜率表(每一对输入和输出一个),叫作雅可比矩阵(Jacobian)。 对 h+f(h)h + f(h),它是 I+JfI + J_f,其中 II 是单位表:对角线上是 1,其余是 0。 往下穿过 LL 个块,就是把 LL 张这样的表相乘。展开后,乘积里有一项是 I⋅I⋯I=II \cdot I \cdots I = I, 所以总有一条路线,梯度在上面一点都不会缩小。

3. 卷积网络里的残差块

处理图片的残差网络,把很多个像这样的块叠起来。层这一侧有两个 3×3 卷积(支线 N1), 每个后面跟着 BatchNorm(第 4 节)和一个 ReLU。残差通路把块的输入原封不动地绕过它们送过去。

残差通路:x,原样不变x卷积 3×3BatchNormReLU卷积 3×3BatchNorm+ReLUF(x):这个块要学的部分残差通路:x,原样不变x卷积 3×3BatchNormReLU卷积 3×3BatchNorm+ReLUF(x):这个块要学的部分
一个残差块。输出是 ReLU(x + F(x))。即使 F 什么有用的都没学到,这个块仍然会让 x 通过。

+ 把两个张量逐格相加,所以 F(x)F(x) 的形状必须和 xx 完全一样。填充 1 的 3×3 卷积保持 高和宽不变(支线 N1),它的卷积核个数决定输出通道数。

形状 x 的形状是 (64, 8, 8):64 个通道,每个 8×8。层这一侧的两个卷积都是 3×3、填充 1、64 个卷积核。F(x) 是什么形状?
深入一点 如果一个块改变了通道数呢?

那 xx 和 F(x)F(x) 就对不上了。残差通路会有自己的一个小层,通常是 1×1 卷积:它在每个像素上把各个通道混合成新的个数, 不看邻居。步幅为 2 时,它还会把高和宽减半,和缩小图片的层这一侧对上。

4. BatchNorm:一个特征,跨整批

残差能防止梯度消失,但随着训练改变权重,网络内部的数值仍然可能变大或偏移。 归一化把它们拉回稳定的范围:减去均值,再除以标准差(标准差 = √方差,第 10 关)。 之后这些数的均值是 0,标准差是 1。

问题在于哪些数共用一个均值。这里是一批 4 个样本(行),每个有 4 个特征(列):

f0f1f2f3
样本 01429
样本 11063
样本 25151
样本 35731

BatchNorm 对每个特征(列)做归一化,用的是这一列在整批上的均值和标准差。 手算标准差:减去均值,把每个差平方,对平方求平均,再开平方根。

数字 特征 0(第 0 列)是 [1, 1, 5, 5],均值是 3。求它的标准差,再求 X[2][0] 的 BatchNorm 值 = (5 − 均值) ÷ 标准差。忽略那个很小的 ε。

真正的 BatchNorm 会在开平方根之前给方差加一个很小的数 ε,这样它永远不会除以 0。然后它对每个特征 乘上一个学到的缩放、加上一个学到的平移,这样如果有帮助,网络可以撤销归一化。

训练时,均值和标准差来自当前这一批。测试时可能只有一个样本,所以 BatchNorm 会维护一个 滑动平均(running mean):每一批之后,它保留旧值的 0.9,再加上新一批均值的 0.1。

数字 BatchNorm 某个特征的滑动平均是 2。下一批这个特征的均值是 4。更新时保留旧值的 0.9,加上新值的 0.1。现在滑动平均是多少?
选择用只有 1 个样本的批训练,x = [3, 7, 1]。BatchNorm 减去每个特征在整批上的均值。输出是什么?

在卷积网络里,比如第 3 节的残差块,每个通道是一个特征。它的均值在整批上、 以及这个通道的每个像素上一起算。

5. LayerNorm:一个样本,跨它的特征

LayerNorm 用表的另一个方向:它对每个样本(行)做归一化,用的是这一行自己的均值和标准差。 它从不看这一批里的其他样本。

数字 LayerNorm 用每一行自己的均值和标准差。样本 2(第 2 行)是 [5, 1, 5, 1]。X[2][1] 的 LayerNorm 值是多少?忽略 ε。

哪些数被放在一起求平均?

选 BatchNorm 或 LayerNorm,然后指向、点一下或聚焦一格,选中它所在的列或行。

X:4 个样本(行)× 4 个特征(列)
f0f1f2f3
样本 0
样本 1
样本 2
样本 3
归一化后:(x − 均值) ÷ 它所在列的标准差
f0f1f2f3
样本 0-10.37-1.261.68
样本 1-1-1.11.26-0.15
样本 21-0.730.63-0.76
样本 311.46-0.63-0.76
特征 0: [1, 1, 5, 5] → 均值 3,标准差 2
被放在一起求平均的数
数字 一批有 32 个样本,每个 64 个特征:形状 (32, 64)。LayerNorm 算 32 个均值,每个样本一个。BatchNorm 算多少个均值?
选择一个模型一次写一个 token,所以每一步它的输入只有一个序列。哪种归一化在这里仍然管用?

Transformer 用 LayerNorm 而不用 BatchNorm,有三个原因:

  • 句子长短不一。 一批里短的句子会多出一些填充 token(PAD),BatchNorm 会把它们混进每个特征的均值里。
  • 生成时一次只走一个 token。 模型写字的时候,“一批”常常只有一个序列,批统计量毫无用处。
  • 同一个 token 应该得到同样的结果。 用 LayerNorm,一个 token 的输出只取决于它自己,和这一批里还有哪些句子无关。
我卡在这里了 如果 LayerNorm 只看一个样本,它怎么能帮上训练?

它仍然做了最要紧的那件事:不管下面那层输出了什么,下一层收到的数均值都是 0、标准差都是 1。 下一层的权重永远不用去适应越来越大或不断偏移的输入。在第 16 关你会看到,它出现在 Transformer 块里每一个注意力步骤 和前馈步骤之后(在如今的模型里是之前),紧挨着残差的 +。

6. 自己写一遍

在 NumPy 里,X.mean(axis=0) 沿每一列往下求平均,每列得到一个数。X.mean(axis=1) 沿每一行横着求平均, 每行得到一个数。keepdims=True 把被平均的那个轴保留成大小 1,所以一张 (4, 4) 的表会得到 (1, 4) 或 (4, 1) 的结果, 它能广播回整张表上(第 1 关)。X.var(...) 用同样的方式给出方差,np.sqrt 开平方根。

X = np.array([[1., 3], [5, 7]])
X.mean(axis=0, keepdims=True)   # [[3., 5.]]      每列一个均值
X.var(axis=1, keepdims=True)    # [[1.], [1.]]    每行一个方差

这是 BatchNorm,方差里加了 ε。写出完整的 LayerNorm 函数:三行。

代码写出 layer_norm:用每一行(一个样本)自己的均值和方差对它做归一化,开平方根之前给方差加上 ε,就像 batch_norm 对列做的那样。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 算出一个普通堆叠里有多少梯度能传到底部:把每一层的斜率乘起来。
  • 解释为什么残差层 能防止梯度缩到 0:它的斜率是 。
  • 手算和用 NumPy 对一张表做归一化,按列(BatchNorm)或按行(LayerNorm)。

要记住

  • ,斜率
  • 归一化:,之后均值为 0、标准差为 1
  • BatchNorm:axis=0,每个特征在整批上算一个均值。LayerNorm:axis=1,每个样本算一个均值
  • 滑动平均:保留旧值的 0.9,加上新一批均值的 0.1

常见错误

  • 用错了轴:BatchNorm 沿每一列往下求平均,LayerNorm 沿每一行横着求平均。
  • 以为比 1 小一点的斜率无所谓:30 层、每层 0.75,会把梯度缩到大约 0.0002。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星