从第 2 步开始,输入是 0。唯一把那个 1 往前带的,是 。
每一步大约保留原来的一半,所以第 1 步的那个 1 越来越小:0.76、0.36、0.18、0.09。
我卡在这里了 是不是每一步都有一个单独的网络?
不是。图里常常把网络画成每一步复制一份,并排放着。这种画法叫展开(unrolling), 它有助于看清数据怎么流动。但每一份副本用的都是同样的 、 和 。在这个实验台里,4 步的序列和 4,000 步的序列 用的是同样的 3 个权重。换成向量,就是同样的 3 个矩阵。
独立做出这 4 道题。 全部答对,这一关就算三星通关。看过答案的不算。
rnn_all:运行同样的循环,但保留每一个隐藏状态,让结果每一步一行,形状 (L, H)。把 ____ 换成你需要的任意多行。Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
开始前快速复习一下。可选,不会锁住这一关。
MLP 接收固定个数的输入。可是一个句子的长度不固定,词的顺序也很重要。 循环神经网络(RNN)一次读序列里的一项。它把一小串数,也就是隐藏状态(hidden state)h,从一步带到下一步。 网络就靠隐藏状态记住它到目前为止读过的东西。
每一步,网络把新的输入和隐藏状态混合起来,再让结果通过 tanh,把它保持在 −1 和 1 之间:
下面的隐藏状态只是一个数。序列是 1、0、0、0,h 从 0 开始。按下一步来运行它。
按“下一步”。改变权重或输入 x,看 h 在每一步怎样变化。
z = w_x·x_t + w_h·h_(t−1) + b,然后 h_t = tanh(z)
| t | x_t | z | h_t | h 的大小 |
|---|---|---|---|---|
| 1 | 1.00×1 + 0.50×0.0000 + 0.00 = 1.0000 | ? | ||
| 2 | … | … | ||
| 3 | … | … | ||
| 4 | … | … |
从第 2 步开始,输入是 0。唯一把那个 1 往前带的,是 。
每一步大约保留原来的一半,所以第 1 步的那个 1 越来越小:0.76、0.36、0.18、0.09。
不是。图里常常把网络画成每一步复制一份,并排放着。这种画法叫展开(unrolling), 它有助于看清数据怎么流动。但每一份副本用的都是同样的 、 和 。在这个实验台里,4 步的序列和 4,000 步的序列 用的是同样的 3 个权重。换成向量,就是同样的 3 个矩阵。
要训练这个网络,最后一步的损失必须告诉第 1 步该改什么。反向传播沿着展开的各步往回走。 每一步它都乘上同一类因子: 乘上 tanh 在那里的斜率,也就是 。
下一题去掉了 tanh,所以每个因子就只是 。
拖动 w_h,切换激活函数。这条线是 30 步里的梯度 d h_t / d h_1。
每个因子是 乘上一个 tanh 斜率,而斜率 总是在 0 和 1 之间。
不管哪种情况,很多个因子的乘积几乎从不会停在 1 附近。上面那道 explode 题去掉了 tanh,好让
算术简单些;但只要 一直大于 1,加上 tanh 后梯度也会同样地变大。
梯度爆炸有一个简单的办法:如果梯度的长度超过某个上限,就把它缩小到这个上限。
这叫梯度裁剪(gradient clipping),demo.py 就用了它(clip_grad_norm_(…, 1.0))。
梯度消失没有这样的办法。把 1e-9 这样的数放大,也会同样放大来自其他每一步的噪声。 关于第 1 步的信息在往回传的路上就已经丢了。解决办法必须改变网络本身。那是支线 N4 的内容。
下面把同一条链画成网络:序列 1、0、0、0,,,,和第 1 节的实验台一样。
按“下一步”走前向的各步,再继续按,把梯度送回去。
看颜色:每一步都是同一个单元,用同样的三个权重。往回走时,亮的区域每一步都在缩小。
正的值负的值 圆盘的填充色就是它的值:颜色越深,离 0 越远。 同样的权重,再用一次 前向(这一步) 反向:梯度 “∂ −0.5” = 梯度 ∂L/∂(那个值)。 选一层,查看它的数。
这里有一个网络必须记住东西的任务。一个序列以 A 或 B 开头,后面跟着 k − 1 个随机的额外符号(c、d 或 e)。 到最后,网络必须说出第一个符号是哪个。瞎猜能得 50%。
选一个序列长度 k。试试更长的。
正在加载训练记录…
k 到 20 为止,RNN 都能完美地学会这个任务。到 k = 40,它就停在瞎猜的水平,尽管规则一样简单。
本该传到第 1 步的训练信号,是 39 个因子的乘积,每个都远小于 1。它比 来自末尾那些随机符号的噪声小得多。更多的步数或更大的学习率,会把那些噪声放大同样多。 网络永远“听不到”第 1 步很重要。
在单步实验台里,把 设成 1,跑完全部 4 步。现在那个 1 缩小得慢多了。再把 设成 −1。每一步 h 的符号会怎样?
换成向量,x 是一串 D 个数,h 是一串 H 个数。和第 1 关以来的每一关一样,向量是行, 一层就是“行 @ 矩阵”:
所以 是 (D, H):它把 D 个输入数变成 H 个。 是 (H, H),b 有 H 个数。写成代码就是
x @ Wx + h @ Wh + b。隐藏状态只有一个数时, 就是 ,也就是第 1 节的公式。
写出循环里的那一行。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
rnn 只保留最后一个 h。你常常需要每一步之后的隐藏状态,比如之后要把整个序列再读一遍
(支线 N5 就是这样做的)。把它们收集到一个列表里:先写 hs = [],每次更新之后调用 hs.append(h)。
最后,np.stack(hs) 把 L 行、每行 H 个数的列表变成一个形状为 (L, H) 的数组。
rnn_all:运行同样的循环,但保留每一个隐藏状态,让结果每一步一行,形状 (L, H)。把 ____ 换成你需要的任意多行。Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
通关后,这里会显示关键公式和常见错误。
按 ? 查看快捷键