第 N5 关 · 基础 · 经典网络 · 在浏览器里运行 · 最后一部分在你的电脑上
English

Seq2seq 与最早的注意力

怎样把一个序列变成另一个序列?注意力为什么会出现?

支线 · 最好在之后学: 第 10 · 概率与采样 关

Boss 关

用 NumPy 一次算出解码器每一步的注意力(包括 softmax),并在浏览器里通过所有测试。然后在你的电脑上,把同样的三行用 PyTorch 写进 boss.py,训练一个 LSTM 编码器–解码器,让它把至少 90% 的新的 20 位数字串倒过来。

支线 N4 的 LSTM 读入一个序列,预测下一个符号。很多任务需要的不止这些:先读完一整个序列,再写出另一个序列, 长度往往也不一样。输入数字,输出英文单词:427015 → “four hundred twenty seven thousand fifteen”。 或者输入一个字符串,输出把它倒过来的字符串。这叫序列到序列(sequence to sequence),简称 “seq2seq”。

这一关先搭出第一个把这件事做好的模型,找到它的弱点,再用整个 Transformer 都在用的那个想法修好它: 注意力(attention)。Boss 有一部分要在你的电脑上运行;请看在你的电脑上运行代码。

1. 编码器和解码器

这个模型是两个前后相接的 LSTM:

  1. 编码器(encoder)一次读入一个 token,和支线 N4 完全一样。每个输入 token 它都产生一个状态。 它的最后一个状态(h 和 c)就是它对整个输入的总结。
  2. 解码器(decoder)从这个总结出发,一次写一个 token:它拿到起始 token <bos>, 预测第一个词,把这个词作为下一个输入交给自己,再预测下一个,直到写出 <eos> 为止。

和课程里其他地方一样,向量是行。状态有 H 个数时,编码器把 L 个 token 的输入变成 L 个状态,也就是形状为 (L, H) 的数组。解码器只拿到最后一个。

数字 H = 32 的 LSTM 编码器读入一个 24 位的数字串。解码器只拿到编码器最后的 h 和 c。这一共是多少个数?

问题就在这里:4 位的输入和 24 位的输入,都必须装进同样的 64 个数。看测量结果之前, 先猜一猜。

先猜一猜看之前先猜。H = 32 时,普通的编码器–解码器能把 4 位的数字串完美地倒过来。对新的 20 位数字串,它大约能完全答对百分之几?

我们训练了两个这样的模型,让它们把 2 到 24 位的数字串倒过来,然后在每个长度上用 300 个新数字串测试。 只有每一位都对,才算答对。

把数字串倒过来:在新数字串上完全答对的比例

点一个长度,看它的数字。切换状态大小 H,给模型一个更大的状态。

正在加载录下的训练记录……
状态大小 H
正在等待录下的训练记录……
无注意力

短的数字串很容易。长的就不行了:这个总结向量是一个瓶颈(bottleneck),一条窄窄的通道。解码器 关于输入能知道的一切,都必须从这里挤过去。

我卡在这里了 为什么不把状态变大?把 H 切到 128 看看。

有帮助:在 16 位时,大模型能答对 62%,而不是 4%。但这只是把准确率下跌的长度往后推。到 24 位,它又回到 5%。 不管多大的固定大小,只要输入够长,就不够用;而状态里每多一个数,都要多花权重和时间。 解决办法不是更大的状态,而是让解码器能再看一遍输入。

2. 注意力:读取每一个编码器状态

编码器产生的不只是一个总结。它给每个输入 token 都产生了一个状态,这些状态都还在。 注意力让解码器在写每一步时都能用上所有这些状态:

  1. 用点积(第 1 关)给每个编码器状态和解码器当前的状态 s 打分。E 把编码器状态 按行存放,所以一次算出所有分数就是 scores = E @ s。
  2. 用 softmax(第 10 关)把分数变成加起来等于 1 的权重。
  3. 对编码器状态求加权平均:context = weights @ E。这是一个有 H 个数的向量, 每一步都要重新算一遍。

然后解码器根据 s 和这个上下文一起预测下一个词。分数高的状态得到的权重大, 所以上下文主要由对这个词重要的那些输入位置组成。

下面是三个编码器状态,每个有两个数,还有一个解码器状态。编码器状态就是编码器的 隐藏状态,所以我们叫它们 h₀、h₁、h₂(E 的各行)。拖动它们试试。

注意力的一步:解码器状态 s 看向编码器状态

拖动 s 或 h₀、h₁、h₂(也可以选中一个,用方向键移动)。箭头越粗,权重越大。

33h₀h₁h₂s
状态h分数 h·s权重
h₀[1, 0]??
h₁[0, 1]??
h₂[0, -1]??

s = [2, 0]

context(上下文)= weights @ E = ?

拖动 s 或编码器状态。箭头越粗,权重越大。
s,解码器状态 编码器状态(越粗 = 权重越大) 上下文,即加权平均
数字 E = [[1, 0], [0, 1], [0, −1]](各行是 h₀、h₁、h₂),解码器状态 s = [2, 0]。h₀ 的分数,也就是 h₀ · s,是多少?

三个分数是 [2, 0, 0]。softmax 把它们变成权重:对每个分数取 e 的幂,再分别除以总和。

数字 分数是 [2, 0, 0]。用 e² ≈ 7.39 和 e⁰ = 1。做完 softmax 后,h₀ 的权重是多少?(保留 2 位小数)

权重大约是 [0.79, 0.11, 0.11]。上下文是加权平均:0.79 × h₀ + 0.11 × h₁ + 0.11 × h₂。

选择权重是 [0.79, 0.11, 0.11],E = [[1, 0], [0, 1], [0, −1]]。context = weights @ E 的第二个数是多少?

在真正的模型里,状态有很多个数。形状告诉你什么东西放在哪里:E 是 (L, H),s 是 (H,), 分数和权重是 (L,):每个输入 token 一个。

形状 E 存着 8 个编码器状态,每个 32 个数:E 是 (8, 32)。解码器状态 s 是 (32,)。context = weights @ E 是什么形状?(写一个数,比如 (5)。)

现在写出注意力一步的最后一行。第 10 关的 softmax 可以直接用。

代码补完注意力的一步:上下文是编码器状态的加权平均。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

深入一点 打分的其他方法

点积是最简单的打分方法,也是 Transformer 用的方法。更早的一种做法是用一个小网络给每个编码器状态 h 打分: v · tanh(s @ W1 + h @ W2),其中 W1、W2 和 v 都是学出来的。它可以比较大小不同的向量, 在最早的注意力模型里很流行。两种都能用。点积胜出,是因为它对所有位置只需要一次矩阵 乘法,而高速硬件正是为此设计的。

3. 它解决瓶颈了吗?

同样的倒转实验,同样大小的 LSTM,现在给解码器加上注意力。

选择同样的倒转任务,同样 H = 32 的 LSTM,现在加上注意力。在 20 位上普通模型答对 0%。注意力模型能比 0% 好吗?

把数字串倒过来:在新数字串上完全答对的比例

点一个长度,看它的数字。切换状态大小 H,给模型一个更大的状态。

正在加载录下的训练记录……
状态大小 H
正在等待录下的训练记录……
无注意力有注意力

状态有 32 个数时,普通模型在 20 位上答对 0%。加上注意力后答对 72%。状态有 128 个数时,注意力模型 在 24 位上还保持 85%,而普通模型只有 5%。总结向量不必再携带一切。解码器 可以在需要的时候,从输入里取它需要的东西。

4. 它在看哪里?

注意力模型会留下你能读懂的痕迹:每一个输出步的权重。这个模型把最多六位的数字写成英文单词, 这和第 17 关以及支线 N7 里 Transformer 学的是同一类任务。英语把 427015 按三位一组来读: “four hundred twenty seven”(427),然后是 “thousand”,然后是 “fifteen”(015)。它在随机数上训练,然后在 1,000 个 它从没见过的数上测试:全部 100% 读对。

选择模型读入 427015,写出 “four hundred twenty seven thousand fifteen”。它写 “seven” 时,哪个数字应该得到最大的权重?

解码器在看哪里

指向或点一下某一格。行:解码器写出的东西。列:它读入的东西。颜色越深,权重越大。

正在加载录下的权重……
正在等待录下的权重……
注意力权重,0 → 1

没有人告诉模型哪个数字对应哪个词。它学会这些对齐(alignment),只是因为看向 正确的数字能让下一个词更容易预测。

下面是 427015 的同一组权重,画成从每个词指回各个数字的弧线。弧线越亮、越粗,权重越大。

每个词读它需要的那几个数字

按“下一步”,一次写出一个词。

427015fourhundredtwentyseventhousandfifteen<eos>编码器状态解码器步骤
按“下一步”开始。
层(2)

看亮的弧线落在哪里:“seven”回头找 7,“thousand”和“fifteen”找最后三个数字。

灰色圆盘 = 已完成;空心圆盘 = 还没到。 前向(这一步) 弧线越粗 = 注意力权重越大。 选一层,查看它的数。

动手试试

选 427,015,指向 “hundred” 那一行。它没有看 4,而是往后看两位,看 7: 最后两位数决定 “hundred” 后面跟的是 “seventeen” 还是 “twenty seven”。再看 “thousand”,它把权重分散在最后三位数上。 切换到“倒转数字”:亮的格子沿着从右上到左下的对角线排列,最先看的是最后一个输入数字。

5. 留下注意力,去掉循环

注意力解决了瓶颈,但模型仍然用 LSTM 来读:一个 token 接一个 token,每一步都要等 上一步,而且输入很长时,编码器自己的状态仍然会变弱(支线 N3)。下一个想法是一次大改动:

模型怎样读输入输出怎样找到输入
编码器–解码器LSTM,一步一步只有最后的总结
+ 注意力(这一关)LSTM,一步一步对每个编码器状态做注意力
编码器–解码器 Transformer(支线 N7)注意力,所有 token 同时对每个编码器状态做注意力
GPT(第 17–21 关)对前面的 token 做注意力,同时进行没有单独的编码器

留下注意力,去掉循环。在第 14 关,每个词都通过对同一句话里的每个其他词做注意力 来构造它的新向量,用的正是你刚刚算过的三步:点积打分、softmax、加权平均。

我卡在这里了 这和第 14 关的注意力是同一个东西吗?

算法一样:用点积打分,softmax,加权平均。有两点不同。这里是解码器状态 看向编码器状态,是两个不同的序列;第 14 关一开始是词看向同一句话里的词, 这叫自注意力。另外,第 14 关会先把每个向量乘以学出来的矩阵(查询、键、值), 这样“我要找什么”、“别人拿来比较的是什么”和“我给出什么”可以各不相同。它还会把分数除以 √d_k, 免得向量很长时 softmax 变得太尖。从这一关到支线 N7 的交叉注意力只差一小步: 解码器的查询去看编码器的键和值。

6. Boss

第 1 部分:一次算出解码器的每一步

到目前为止,解码器只有一个状态 s。它要写 T 个词,所以有 T 个状态,注意力对每个状态各算一次。 把它们按行堆成 S,形状 (T, H),所有分数就来自一次矩阵乘法:S @ E.T 是 (T, L), 第 t 行是解码器状态 t 对每个编码器状态的分数。

然后 softmax 对每一行分别做。NumPy 有两个工具可以做到。x.max(axis=-1, keepdims=True) 取出每一行最大的 数,并把结果保留成一列,这样它和 x 对得上;x.sum(axis=-1, keepdims=True) 对求和做同样的事:

x = np.array([[2., 0, 0], [0, 2, -2]])
x.max(axis=-1, keepdims=True)    # [[2.], [2.]]   每行一个数
x - x.max(axis=-1, keepdims=True)  # [[0., -2., -2.], [-2., 0., -4.]]   没有大于 0 的数,所以 exp 永远不会上溢

在 np.exp 之前先减去每一行最大的分数,不会改变 softmax 的结果(第 10 关),还能防止 exp 上溢。

代码Boss 第 1 部分。一次算出解码器每一步的注意力:每个解码器状态一行权重,每行是对编码器状态做的 softmax;每个解码器状态一行上下文。softmax 要你自己写。把 ____ 换成你需要的若干行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

看看你刚写的:softmax(S @ E.T) @ E。把 S 改名为 Q(查询),把 E 改名为 K 和 V(键和值),它就是 第 14 关的注意力 softmax(Q @ K.T) @ V,只是少了除以 √d_k 的缩放,以及生成 Q、K、V 的那些学出来的矩阵。

第 2 部分:在你的电脑上

把 boss.py 下载到一个单独的文件夹里,在那里打开它(配置)。整个 倒转模型都在里面,只缺 attend_all(S, E)。用 PyTorch 写出它:和第 1 部分一样的三步,只是对一整批来做。现在 S 是 (B, T, H),E 是 (B, L, H):每个张量前面都多了一个批的轴,B 个样本各自做自己的注意力。

运行 python boss.py。它先在随机的批上检查你的 attend_all(),然后训练这个倒转模型大约一分钟,再用 300 个 新的 20 位数字串测试。完全正确的有 270 个或更多时,它会打印一行以 N5 PASS 开头的文字。把那一行粘贴到这里。 行末的代码只能说明你原样粘贴了它;这一部分靠你的诚实。

第 1 部分(这一页上的 attend_all)和这一行都通过后,这一关就算通关。

代码Boss 第 2 部分。把 boss.py 为你自己的 attend_all() 打印的 PASS 那一行粘贴到引号之间。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

我们还用 H = 128、只针对这一个任务,分别训练了有注意力和没有注意力的同一个倒转模型。普通模型 比上面图里的表现好一些(在我们的机器上,20 位时答对 50%),但仍然远远比不上注意力模型(98%)。

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 解释瓶颈:没有注意力时,整个输入都必须装进编码器的最后一个状态。
  • 手算注意力的一步:点积得到分数,softmax 得到权重,再对编码器状态求加权平均。
  • 用 NumPy 一次算出解码器每一步的注意力,包括 softmax。

要记住

  • 一步:scores = E @ s,w = softmax(scores),context = w @ E
  • 形状:E 是 (L, H),s 是 (H,),分数和权重是 (L,),上下文是 (H,)
  • 所有步:softmax(S @ E.T) @ E,其中 S @ E.T 的形状是 (T, L),softmax 沿每一行做
  • 在 np.exp 之前先减去每一行最大的分数:softmax 不变,也不会上溢

常见错误

  • 沿错误的轴做 softmax:每个解码器状态的那一行权重必须加起来等于 1。
  • 以为把状态变大就能解决瓶颈:这只会把准确率下跌的长度往后推。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星