第 N3 关 · 基础 · 经典网络 · 在浏览器里运行
English

循环神经网络

网络怎样一步一步地读一个序列?

支线 · 最好在之后学: 第 10 · 概率与采样 关

MLP 接收固定个数的输入。可是一个句子的长度不固定,词的顺序也很重要。 循环神经网络(RNN)一次读序列里的一项。它把一小串数,也就是隐藏状态(hidden state)h,从一步带到下一步。 网络就靠隐藏状态记住它到目前为止读过的东西。

1. 一次一步

每一步,网络把新的输入和隐藏状态混合起来,再让结果通过 tanh,把它保持在 −1 和 1 之间:

ht=tanh⁡(wx xt+wh ht−1+b)h_t = \tanh(w_x \, x_t + w_h \, h_{t-1} + b)

下面的隐藏状态只是一个数。序列是 1、0、0、0,h 从 0 开始。按下一步来运行它。

循环网络,一次一步

按“下一步”。改变权重或输入 x,看 h 在每一步怎样变化。

h₀=0× w_xx=1h1?× w_h× w_xx=0h2…× w_h× w_xx=0h3…× w_h× w_xx=0h4…

z = w_x·x_t + w_h·h_(t−1) + b,然后 h_t = tanh(z)

tx_tzh_th 的大小
11.00×1 + 0.50×0.0000 + 0.00 = 1.0000 ?
2……
3……
4……
第 1 步,共 4 步:h1 = ?。每一步都用同样的 w_x、w_h 和 b;只有 h 把东西往前带。
h 大于 0 h 小于 0 颜色越深:|h| 越大
数字 wₓ = 1,wₕ = 0.5,b = 0,h₀ = 0,x₁ = 1。取 tanh(1) ≈ 0.76。h₁ = tanh(wₓ·x₁ + wₕ·h₀ + b) 是多少?(保留 2 位小数)

从第 2 步开始,输入是 0。唯一把那个 1 往前带的,是 wh ht−1w_h \, h_{t-1}。

数字 wₓ = 1,wₕ = 0.5,b = 0。h₁ = 0.76,x₂ = 0。取 tanh(0.38) ≈ 0.36。h₂ = tanh(wₓ·x₂ + wₕ·h₁ + b) 是多少?(保留 2 位小数)

每一步大约保留原来的一半,所以第 1 步的那个 1 越来越小:0.76、0.36、0.18、0.09。

数字 这个 RNN 的隐藏状态只有一个数:hₜ = tanh(wₓ·xₜ + wₕ·hₜ₋₁ + b)。它读一个有 1,000 个输入的序列。它有多少个要学的数(权重和偏置)?
我卡在这里了 是不是每一步都有一个单独的网络?

不是。图里常常把网络画成每一步复制一份,并排放着。这种画法叫展开(unrolling), 它有助于看清数据怎么流动。但每一份副本用的都是同样的 wxw_x、whw_h 和 bb。在这个实验台里,4 步的序列和 4,000 步的序列 用的是同样的 3 个权重。换成向量,就是同样的 3 个矩阵。

2. 随时间训练

要训练这个网络,最后一步的损失必须告诉第 1 步该改什么。反向传播沿着展开的各步往回走。 每一步它都乘上同一类因子:whw_h 乘上 tanh 在那里的斜率,也就是 1−h21 - h^2。

∂h4∂h1=(wh(1−h22))(wh(1−h32))(wh(1−h42))\frac{\partial h_4}{\partial h_1} = \big(w_h (1 - h_2^2)\big)\big(w_h (1 - h_3^2)\big)\big(w_h (1 - h_4^2)\big)
选择wₕ = 0.5。往回走一步,梯度乘上 wₕ·(1 − h²)。如果不管 tanh,往回三步会得到 0.5³ = 0.125。加上 tanh 后,∂h₄/∂h₁ 是……

下一题去掉了 tanh,所以每个因子就只是 whw_h。

选择没有激活函数,wₕ = 1.5。30 步之后,梯度是 29 个 1.5 的乘积。它大约有多大?

到第 t 步时,第 1 步还有多重要?

拖动 w_h,切换激活函数。这条线是 30 步里的梯度 d h_t / d h_1。

消失爆炸d h_t / d h_1(对数刻度)1e61e31e01e-31e-61e-91e-12t=1t=10t=20t=30
t = 30 时,d h_30 / d h_1 = 1.55e-9:第一个输入几乎没有影响,所以训练看不出它重要
第 1 步输入 1,之后是 0;w_x = 1,b = 0 每一步乘上 w_h ×(激活函数的斜率);tanh 的斜率最大是 1 消失或爆炸

每个因子是 whw_h 乘上一个 tanh 斜率,而斜率 1−h21 - h^2 总是在 0 和 1 之间。

  • 如果 ∣wh∣|w_h| 小于 1,每个因子都小于 1,一长串乘积就会缩向 0。 这就是梯度消失:最前面的几步几乎收不到训练信号。
  • 如果 ∣wh∣|w_h| 远大于 1,因子可能一直大于 1,乘积就会变得非常大:这是梯度爆炸。 tanh 挡不住这一点。它只在 h 接近 ±1 的地方有帮助,因为那里斜率接近 0。

不管哪种情况,很多个因子的乘积几乎从不会停在 1 附近。上面那道 explode 题去掉了 tanh,好让 算术简单些;但只要 wh(1−h2)w_h (1 - h^2) 一直大于 1,加上 tanh 后梯度也会同样地变大。

深入一点 梯度爆炸好治,梯度消失难治

梯度爆炸有一个简单的办法:如果梯度的长度超过某个上限,就把它缩小到这个上限。 这叫梯度裁剪(gradient clipping),demo.py 就用了它(clip_grad_norm_(…, 1.0))。

梯度消失没有这样的办法。把 1e-9 这样的数放大,也会同样放大来自其他每一步的噪声。 关于第 1 步的信息在往回传的路上就已经丢了。解决办法必须改变网络本身。那是支线 N4 的内容。

下面把同一条链画成网络:序列 1、0、0、0,wx=1w_x = 1,wh=0.5w_h = 0.5,b=0b = 0,和第 1 节的实验台一样。

一个单元,用了四次

按“下一步”走前向的各步,再继续按,把梯度送回去。

x1h1x2h2x3h3x4h4w_xw_xw_hw_xw_hw_xw_h
按“下一步”开始。 · 一共 3 个参数
层(8)

看颜色:每一步都是同一个单元,用同样的三个权重。往回走时,亮的区域每一步都在缩小。

正的值负的值 圆盘的填充色就是它的值:颜色越深,离 0 越远。 同样的权重,再用一次 前向(这一步) 反向:梯度 “∂ −0.5” = 梯度 ∂L/∂(那个值)。 选一层,查看它的数。

3. 记住第一个符号

这里有一个网络必须记住东西的任务。一个序列以 A 或 B 开头,后面跟着 k − 1 个随机的额外符号(c、d 或 e)。 到最后,网络必须说出第一个符号是哪个。瞎猜能得 50%。

选择一个隐藏状态有 32 个数的 RNN,在 k = 20 时能完美学会“记住第一个符号”。现在 k = 40:规则一样,训练 1,500 步。它能达到多少准确率?

记住第一个符号:真实的训练过程

选一个序列长度 k。试试更长的。

正在加载训练记录…

…
RNN 1,500 步,每步 64 个序列,隐藏状态 32 个数,在 1,000 个新序列上测准确率

k 到 20 为止,RNN 都能完美地学会这个任务。到 k = 40,它就停在瞎猜的水平,尽管规则一样简单。

我卡在这里了 为什么不训练得更久一些,或者用更大的学习率?

本该传到第 1 步的训练信号,是 39 个因子的乘积,每个都远小于 1。它比 来自末尾那些随机符号的噪声小得多。更多的步数或更大的学习率,会把那些噪声放大同样多。 网络永远“听不到”第 1 步很重要。

动手试试

在单步实验台里,把 whw_h 设成 1,跑完全部 4 步。现在那个 1 缩小得慢多了。再把 whw_h 设成 −1。每一步 h 的符号会怎样?

4. 自己写一遍

换成向量,x 是一串 D 个数,h 是一串 H 个数。和第 1 关以来的每一关一样,向量是行, 一层就是“行 @ 矩阵”:

ht=tanh⁡(xt Wx+ht−1 Wh+b)h_t = \tanh(x_t \, W_x + h_{t-1} \, W_h + b)

所以 WxW_x 是 (D, H):它把 D 个输入数变成 H 个。WhW_h 是 (H, H),b 有 H 个数。写成代码就是 x @ Wx + h @ Wh + b。隐藏状态只有一个数时,xtWxx_t W_x 就是 wxxtw_x x_t,也就是第 1 节的公式。

写出循环里的那一行。

代码写出循环里的更新:h 变成 tanh(x 乘 Wₓ,加 h 乘 Wₕ,再加 b)。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

rnn 只保留最后一个 h。你常常需要每一步之后的隐藏状态,比如之后要把整个序列再读一遍 (支线 N5 就是这样做的)。把它们收集到一个列表里:先写 hs = [],每次更新之后调用 hs.append(h)。 最后,np.stack(hs) 把 L 行、每行 H 个数的列表变成一个形状为 (L, H) 的数组。

代码写出 rnn_all:运行同样的循环,但保留每一个隐藏状态,让结果每一步一行,形状 (L, H)。把 ____ 换成你需要的任意多行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 手算一个 RNN:把输入和旧的隐藏状态混合起来,再取 tanh。
  • 解释为什么经过很多步后梯度会消失或爆炸:它是每一步一个因子的乘积。
  • 用 NumPy 写一个 RNN 循环,保留每一个隐藏状态,形状 (L, H)。

要记住

  • ,其中 是 (D, H), 是 (H, H),b 是 (H,)
  • 每一步都用同样的 、 和 :权重的个数和序列长度无关
  • 往回走一步,梯度乘上 ;很多个这样的因子乘起来,会缩到 0 或变得非常大

常见错误

  • 以为每一步都有新的权重:所有步共用一套权重。
  • 把因子加起来而不是乘起来:29 个 1.5 乘起来大约是 128,000,不是 45。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星