这些门从哪里来?每个门都是一个带 sigmoid 的小层,所以输出落在 0 和 1 之间。 它读入新的输入和上一步的 h,和 RNN 一样。
w_f·x + u_f·hₚᵣₑᵥ + b_f)。w_f = 2,x = 1,u_f = 0,hₚᵣₑᵥ = 0,b_f = 1,f 是多少?用 e⁻³ ≈ 0.05。(保留 2 位小数)独立做出这 5 道题。 全部答对,这一关就算三星通关。看过答案的不算。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
开始前快速复习一下。可选,不会锁住这一关。
用 NumPy 写出完整的一步 GRU,并在浏览器里通过所有测试。然后在你的电脑上,亲手写出 boss.py 里的 LSTM 单元,用我们生成的文本训练它,直到它写出的行至少 90% 符合所有规则。
在支线 N3 里,普通的 RNN 记不住 40 步之前的第一个符号。每一步都把隐藏状态送进 tanh,再乘以 , 所以早先加进去的东西越来越小。LSTM(全称是“长短期记忆”,long short-term memory)加了第二条通路: 细胞状态(cell state)c。在这条通路上,默认的做法是保留已有的东西。
最后的 Boss 有一部分要在你的电脑上运行。如果你还没配置好,请看 在你的电脑上运行代码。
把 c 想成传送带上的一件东西:它一步一步往前走, 每一步都可以从它上面拿走一点,或者往上面加一点。
每一步,由三个门(gate)决定 c 会怎样。每个门都是 0 到 1 之间的一个数:
拖动各个门。传送带的粗细就是细胞状态 c 的大小。
这些门从哪里来?每个门都是一个带 sigmoid 的小层,所以输出落在 0 和 1 之间。 它读入新的输入和上一步的 h,和 RNN 一样。
w_f·x + u_f·hₚᵣₑᵥ + b_f)。w_f = 2,x = 1,u_f = 0,hₚᵣₑᵥ = 0,b_f = 1,f 是多少?用 e⁻³ ≈ 0.05。(保留 2 位小数)看 c 从一步走到下一步的通路:乘以 f,再加上一点东西。这条通路上没有 tanh,也没有权重矩阵。 如果不加入新东西,细胞每一步都保留原来的 f 那么多。在实验台里拖动 f 滑块,看 LSTM 那条曲线。
后面某一步的损失沿着细胞把信号传回第 1 步时,每经过一步都要乘以 f。 f 接近 1 时,信号能传到。在普通 RNN 里,每一步大约要乘以 0.5。
有一个细节决定了训练能不能起步。训练之前,门的输出大约是 sigmoid(它的偏置), 因为权重一开始都很小。遗忘门的偏置为 0 时,f 一开始是 sigmoid(0) = 0.5。遗忘门的偏置为 2 时, f 一开始是 sigmoid(2) ≈ 0.88。下面的实验台训练了两个 LSTM,它们只有这个初始偏置不同。
选一个序列长度 k。试试 k = 40 和 k = 80,看网络从哪里开始拉开差距。
正在加载训练记录…
训练之前,门的输出大约是 sigmoid(偏置)。偏置为 0 时,f 一开始是 0.5,走过 79 步后,细胞通路只留下 0.5⁷⁹ ≈ 1.65e-24 的信号。网络甚至察觉不到第 1 步有用,所以永远学不会把 f 调大。
偏置为 2 时,f 一开始是 0.8808,0.8808⁷⁹ ≈ 4.42e-5。这很小,但足够让训练看出其中的联系。 然后训练会自己把 f 推得更接近 1。把遗忘门的偏置初始化为 1 或 2 是标准做法。
LSTM 带着两个向量 h 和 c,用三个门。GRU(gated recurrent unit,门控循环单元)保留同样的“默认保留”思路, 但部件更少:一个状态 h,两个门。
两个门都是 sigmoid,在 0 和 1 之间。和 LSTM 的门一样,每个门都由 和 算出,各有各的权重:
这里的 是逐个数相乘,就像 NumPy 里的 r * h。r 接近 0 时,候选值会忽略旧的 h。
拖动各个门。新的 h 总是落在 h_prev 和候选值 h̃ 之间;z 决定 h 离 h̃ 有多近。
| LSTM | GRU | |
|---|---|---|
| 在步与步之间传递的状态 | h 和 c | 只有 h |
| 门 | 遗忘门、输入门、输出门 | 更新门 z、重置门 r |
| 权重块 | 4 (f, i, g, o) | 3 (z, r, h̃) |
| “保留”通路 | c = f · c + i · g | h = (1 − z) · h + z · h̃ |
z 接近 0 时,旧的 h 几乎原样通过,就像 LSTM 里的 c,所以梯度也能沿着它传回去。 GRU 没有单独的输出门,也没有单独的细胞,所以权重更少。
到目前为止,每个 RNN 都是从左往右读,所以某个词处的状态只知道它前面的词。有时后面的词更重要。 在 “he sat by the bank of the river” 这句话里,是四个词之后的 “river” 说明了这是哪种 bank(存钱的银行,还是河岸)。
双向 RNN 在同一个句子上跑两个 RNN:一个从左往右,一个从右往左。每个位置的输出 是两个状态并排拼在一起,所以每个词都能从两头看到整个句子。
点一个词。正向 RNN 读过了它和它之前的所有词;反向 RNN 读过了它和它之后的所有词。
生成器一次写一个词。它挑第 5 个词时,第 6、7、8 个词还不存在,所以从右往左的那一遍没有东西可读。 双向模型适合在回答之前就拿到全部输入的任务: 给每个词打标签,给句子分类,或者支线 N5 里的编码器:它先读完整个输入, 解码器才开始写。
我们自己的生成器会写出这样的句子:
the gray bee wants the gray cup.
the blue fox sees the blue box.规则是:the <color> <animal> <verb> the <same color> <thing>. 共有 6 种颜色、6 种动物、6 个动词和 6 种东西。
字符级模型一次读一个字母,学着预测下一个字母。要遵守最后一条规则,它必须把第一个颜色
记住 17 个字符,跨过动物和动词。
拖动滑块浏览训练过程。每一行都在你眼前按规则检查。
LSTM 先学会语法:到第 450 步,它写的句子有 98% 符合语法。这时两个颜色仍然对不上,大约是 1/6 的随机水平。 然后在第 900 步到第 1,200 步之间,它突然学会了把颜色带过去。普通 RNN 也学会了语法,但始终学不会颜色。
语法对每个字符都有帮助,所以先学会。颜色规则每句只对一个字符有帮助, 而且只有当网络找到办法把颜色往后带时才有用。在某个门开始记住它之前,这条规则的梯度很弱。 一旦有个门开始记住颜色,收益就涨得很快,好句子的比例在 300 步内从 17% 跳到 94%。
门也有极限。我们把规则变难:第二个颜色出现在 40 个字符之后
(例如 the big <thing> and the <same color> <thing>)。我们的 LSTM 训练 6,000 步也没学会这个版本。在第 14 关,注意力会直接解决这种远距离的规则。
下面是用向量写的 LSTM 的一步。和课程里其他地方一样,向量是行:输入 x 有 D 个数,h 和 c 有 H 个数。
四个门都来自同一次矩阵乘法 x @ W + h @ U + b,它给出 4H 个数。
前 H 个属于遗忘门,接下来 H 个属于输入门,再接下来 H 个是候选值 g,最后 H 个属于输出门。
所以 W 是 (D, 4H),U 是 (H, 4H)。z[:H] 取前 H 个数,z[H:2 * H] 取接下来的 H 个,依此类推。
写出更新细胞的那一行。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
这一页和 boss.py 把四块按 f、i、g、o 排列。PyTorch 自带的 nn.LSTM 按 i、f、g、o 排列。
如果你要在两者之间复制权重,就把 W、U 和 b 的前两块对调。数学完全一样,只是大矩阵里
各块的顺序不同。
现在写一个你还没见过代码的单元。照着第 3 节的公式写出 GRU 的一步:更新门 z、重置门 r、
候选值 和新的 h。权重放在一个字典里,所以 P["Wz"] 就是 。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
把 boss.py 下载到一个单独的文件夹里,在那里打开它(配置)。训练需要的东西它都有,只缺
一部分:LSTMCell.forward。用 PyTorch 写出它,照着第 6 节的那一步来(torch.sigmoid 和 torch.tanh 的用法和 NumPy 的一样;
现在 x 装的是一整批,每个样本一行,所以要按列切片:z[:, :H])。
然后运行 python boss.py。它先按这一页的公式检查你的单元,然后用它训练一个字符级模型,
训练几分钟后采样 200 行。好句子有 180 行或更多时,它会打印一行以 N4 PASS 开头的文字。把那一行粘贴到这里。
行末的代码只能说明你原样粘贴了它;这一部分靠你的诚实。
第 1 部分(GRU 的一步)和这一行都通过后,这一关就算通关。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
把你的单元改成普通 RNN,再训练一次。在 forward 里,紧接着计算 z 的那一行之后,加上
return torch.tanh(z[:, :self.H]), c。然后在 main 里的 check_cell() 前面加一个 #,因为这个单元是故意通不过那项检查的。
在我们的运行中,LSTM 单元写出的 200 行里有 199 行是好句子,普通 RNN 只有 6 行。读一读它打印的三行,
看看它们违反了哪些规则。
通关后,这里会显示关键公式和常见错误。
x @ W + h @ U + b,得到 4H 个数:依次是 f、i、g、o 四块按 ? 查看快捷键