学完第 13 关,每个词都是一串数。可是“bank”在“river bank”和“bank account”里的那串数是一样的。
一个词需要用上它周围那些词的信息。注意力(attention)就是做这件事的办法:每个词都把句子里的所有词
按它自己算出来的比例混合起来,得到一个新向量。
这是 Transformer 最重要的部分。这一关一小步一小步地把它搭起来,始终只用三个词,每个词两个数。
1. 为什么不从左往右读就行了?
在注意力出现之前,读一句话的常见办法是循环神经网络(RNN)。它一次读一个词,
并保留一份到目前为止所有内容的摘要,也就是隐藏状态 h。每来一个新词 xt,就更新它:ht=tanh(wht−1+xt)
(这是支线 N3 里 RNN 的单个数的版本)。
这种设计有两个问题:
- 大小固定。 读到第 50 个词时,前面 49 个词的所有信息都得塞进同样那几个数里。
- 越早的词越弱。 第一个词的影响要经过后面的每一步才能到达结尾,而每一步
都要乘上 w(还要乘上 tanh 的斜率,它从不超过 1)。所以当模型把句子结尾预测错了时,
修正几乎传不到第一个词,训练也就学不会用上它。
下面是 w = 0.5 时它缩小得有多快:
| 往后几个词 | 第一个词的影响要乘上 |
|---|
| 1 | 0.5 |
| 2 | 0.25 |
| 5 | 0.0312 |
| 10 | 0.000977 |
| 50 | 8.88 × 10⁻¹⁶ |
几十个词之后,句子开头的影响几乎为零。注意力的做法正好相反:
每个词都直接看其他每个词,一步到位,不管隔多远。对第 50 个词来说,读第一个词
和读第 49 个词一样容易。这一关剩下的部分就来搭建它。
经典网络分支会搭一个 RNN 和一个 LSTM(支线 N3 和支线 N4),完整地展示这种缩小。支线 N5
在一个真实的任务上测量这个问题:一份 32 个数的摘要,在 20 位数字串的反转任务上正确率是 0%。N5 还用单个提问向量
算出了第一个注意力。这一关加上矩阵 W_Q、W_K、W_V,让每个词都能提问。
2. 加权平均
三个词:cat = [2, 0],dog = [1, 1],car = [0, 2]。注意力做三件事:
- 分数。 每个词和每个词做点积:
scores = X @ X.T。点积大表示“这两个指向同一方向”。
实验台接着把每个分数除以 √2。现在先把它当成一个固定的缩放;第 5 节会解释为什么。
- 权重。 用 softmax 把每一行分数变成加起来等于 1 的比例。
- 输出。 每个词的新向量是所有词的加权平均:
output = weights @ X。
拖动这些点。下面的每张表都会跟着变。
cat 看每个词的程度 cat′ = cat 的输出,即加权混合(每一段:每个词的权重)
画出这个词的输出:
↓ 每个词和每个词做点积,再除以 √2
分数 = X Xᵀ / √2
| cat | dog | car |
|---|
| cat | 2.83 | ? | 0 |
|---|
| dog | ? | 1.41 | 1.41 |
|---|
| car | 0 | 1.41 | 2.83 |
|---|
↓ 对每一行做 softmax,让它加起来等于 1
权重
| cat | dog | car |
|---|
| cat | 0.77 | 0.19 | 0.05 |
|---|
| dog | 0.33 | 0.33 | 0.33 |
|---|
| car | 0.05 | 0.19 | 0.77 |
|---|
↓ 用这些权重混合词向量
输出 = 权重 @ X
| x | y |
|---|
| cat | ? | 0.28 |
|---|
| dog | 1 | 1 |
|---|
| car | 0.28 | 1.72 |
|---|
cat 的输出 = 0.77×cat + 0.19×dog + 0.05×car = [?, 0.28] 你在下面算出 cat 输出的 x 之后,图上才会画出 cat 的输出。
Softmax 把一行分数变成权重。它对每个分数取 e 的幂,再除以总和,
所以分数大的拿到大部分权重,而且每个权重都是正数。
cat 那一行缩放后的分数是 [2.83, 1.41, 0],变成权重 [0.768, 0.187, 0.045]。
选择在词 cat、dog、car(按这个顺序)的注意力权重表里,行是词,列也是词。weights[0][2] = 0.045。这个数说的是什么?
选择三个词互相做注意力,scores = X @ X.T / √2,然后做 softmax:cat = [2, 0],dog = [1, 1],car = [0, 2]。如果 car 变成 [5, 5](cat 和 dog 不变),car 那一行权重会怎样?
我卡在这里了 为什么 score(cat, dog) 总是等于 score(dog, cat)?
因为两者来自同一个点积:cat · dog = dog · cat。
当每个词用自己的向量来提问,同时也用它来回答时,分数表是对称的:对角线两边一样。
这是一个真正的局限。“The cat chased the dog”(猫追狗)需要 cat → dog 和 dog → cat 不一样。
第 3 节会解决它。
现在把它写出来。浏览器里已经准备好了 np 和 softmax。
代码写出 attention 里算分数的那一行。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
动手试试
按“car 变成 [5, 5]”。car 那一行权重一下子变成差不多 [0, 0, 1]。再按“三个都一样”:
每一行都变成 [0.33, 0.33, 0.33]。没有哪个分数明显比其他的大时,注意力就只是普通的平均。
3. Q、K、V:每个词的三个版本
到目前为止,每个词都用同一个向量做三件事。在真正的 Transformer 里,每个词会做出自己的三个版本,
办法是乘以三个学出来的矩阵:
- Q = X @
W_Q,查询(query):这个词在找什么。
- K = X @
W_K,键(key):其他词拿自己的查询来比较的标签。
- V = X @
W_V,值(value):别的词看这个词时,它交给输出的东西。
“a 看 b”的分数现在是 a 的查询 · b 的键。
然后一切照旧:attention(Q, K, V) = softmax(Q @ K.T / √d_k) @ V。
1 词和三个投影矩阵
2 每个词得到一个查询、一个键和一个值
3 每个查询和每个键算分数,做 softmax,混合值
分数 = Q Kᵀ
| cat | dog | car |
|---|
| cat | 0 | 2 | 4 |
|---|
| dog | 0 | 1 | 2 |
|---|
| car | ? | 0 | 0 |
|---|
不对称
权重 = softmax(分数 / √2)
| cat | dog | car |
|---|
| cat | 0.05 | 0.19 | 0.77 |
|---|
| dog | 0.14 | 0.28 | 0.58 |
|---|
| car | 0.33 | 0.33 | 0.33 |
|---|
输出 = 权重 V
| cat | 0.28 | 1.72 |
|---|
| dog | 0.56 | 1.44 |
|---|
| car | 1 | 1 |
|---|
选一个分数。问题来自这一行的词的 Q,标签来自这一列的词的 K。
按“交换键”:cat 现在主要看 car。再按“单向的键”:W_K = [[0, 0], [1, 0]],所以每个词的键
是把它的 y 那个数挪到最前面,[y, 0]。看看分数下面的标记。
我卡在这里了 既然分数里没有 W_V,它还重要吗?
分数(以及权重)只用到 Q 和 K。W_V 不改变谁被看,它改变的是复制什么。
按“V 只保留 x”:权重完全不变,但每个输出都丢掉了它的 y 那个数,
因为 V 只带着 x。Q 和 K 决定读哪些词;V 决定这些词各自给出什么。
深入一点 为什么不只用一个矩阵?
分数 q_a · k_b 等于 x_a W_Q W_Kᵀ x_bᵀ。所以分数只取决于乘积 W_Q W_Kᵀ,这里是一个 2×2 的矩阵。
如果这个乘积是对称的,分数也是对称的。这就是“交换键”仍然给出对称的表的原因:
交换矩阵是对称的。“单向的键”不是,所以 cat 可以看 car,而 car 不回看。
把乘积拆成 W_Q 和 W_Kᵀ,还能让模型在一个比词向量本身(d_model 个数)更小的空间
(d_k 个数)里比较词。第 15 关会利用这一点,并排运行好几个注意力。
4. 没有人设计这些矩阵
第 3 节里的矩阵是手写的。在真实的模型里没有人写它们:它们是学出来的,就像
第 2 关学出一条直线那样。下面是最小的版本。两个词,apple = [1, 0],sweet = [0, 1]。
任务:sweet 的输出应该是 apple 的内容 [1, 0]。W_K 和 W_V 是单位矩阵,
W_Q = [[0, 0], [c, 0]]:只有左下角那个数 c 可以变。
于是 sweet 的查询是 [0, 1] @ W_Q = [c, 0],所以 c 决定 sweet 看 apple 看得有多用力。
实验台用第 2 关的平方误差衡量和目标值的差距,两个数的误差加起来:
loss = (out_x − 1)² + (out_y − 0)²。梯度下降改变 c,让损失变小。
权重(谁看谁)
| apple | sweet |
|---|
| apple | 0.50 | 0.50 |
|---|
| sweet | ? | ? |
|---|
- 步数
- 0
- sweet 的查询
- [0.00, 0]
- sweet 的输出
- [?, ?]
- 目标值
- [1, 0]
- 损失
- 0.50000
- d loss / d c
- -0.3536
数 c 取每个值时的损失
小球走到哪里,曲线就画到哪里。
c = 0.00 · 损失 0.50000 · 斜率 -0.3536,所以下一步让 c 变化 +0.3536
当前的 c(每一步都会移动它) 它的斜率,d 损失 / d c(梯度) 损失 0:目标,永远到不了
先猜一猜动手之前先猜:如果一直按“200 步”,c 会怎样?
Q、K、V 是事先训练好的吗?不是。模型里有两种不同的数,只有一种是训练出来的。
| 种类 | 例子 | 从哪里来 | 和模型一起保存吗? |
|---|
| 参数 | W_Q、W_K、W_V、嵌入表 | 一开始是随机的;训练改变它们 | 保存,训练后固定不变 |
| 激活值 | Q、K、V、分数、权重、输出 | 模型每次运行时从输入 X 算出来 | 不保存:每次运行后就删掉(训练时会留到反向传播用完) |
所以 W_Q 存在模型里;Q 不存。给模型一句新话,同一个固定的 W_Q 会算出一个新的 Q。
(第 18 关会讲一个例外:写长文本时,前面那些词的 K 和 V 会保留一段时间,这就是 KV 缓存。)
在新的输入上运行训练好的模型叫作推理(inference):参数固定不变,输入把每一层
都走一遍,模型给出输出。注意力是这次运行中每一层里的一步。训练也走同样这些步骤,然后
把输出和目标值比较,再改变参数。
选择模型训练好并保存了。用户输入了一句新话。和上次运行模型时相比,哪些数不一样了?
我卡在这里了 目标值是一种注意力模式吗?我们会告诉模型该看哪里吗?
不会。损失比较的是 sweet 的输出和 [1, 0]。权重从不出现在损失里。训练一直改 c,直到
输出对了为止。权重也跟着变了,但只是因为 c 变了。
目标值来自任务。在这个实验台里它是给定的。在语言模型里,它本来就在文本中:下一个词
(第 11 关)。从来没有人写下“这个词应该看那个词”。
深入一点 把 W_V 也训练:同样的损失,不同的注意力
实验台只训练 c,W_V 保持不变。如果 W_Q、W_K 和 W_V 都训练呢?demo.py 做了四次:
| 训练的是什么 | sweet 放在 apple 上的权重 | 损失 |
|---|
W_Q 和 W_K(W_V 固定为单位矩阵) | 1.00 | 0.0000 |
| 三个都训练,从单位矩阵开始 | 0.52 | 0.0000 |
| 三个都训练,随机开始(随机种子 0) | 0.16 | 0.0000 |
| 三个都训练,随机开始(随机种子 1) | 0.73 | 0.0000 |
每次都得到正确的输出,但注意力权重完全不同。当 W_V 可以变时,V 也能让
“看 sweet”给出 [1, 0]。所以一张注意力图只是得到同样输出的许多方式之一。热力图显示的是一个
训练好的模型做了什么,而不是它必须怎么做。读热力图时要小心。
5. 为什么要除以 √d_k
到目前为止,每个分数在 softmax 之前都除以了 √d_k = √2。(d_k 是每个查询和每个键里数的个数,这里是 2。)
不除会怎样?
验证一下:在第一个实验台里取消勾选“把分数除以 √d_k”,看 cat 那一行。
不除的话,权重会更尖锐。每个词两个数时,这个影响很小。
有 64 或 512 个数时,影响就很大了:点积要把 d_k 项加起来,所以它会随 d_k 增大。
对很大的数做 softmax,几乎所有权重都落在一个词上,这时用来训练 W_Q 和 W_K 的梯度几乎消失。
深入一点 分数会变得多大?
取随机的查询向量和键向量,它们的数的标准差(std)是 1。它们点积的标准差是 √d_k:
d_k | q · k 的标准差 | 除以 √d_k 之后 |
|---|
| 2 | 1.42 | 1.01 |
| 64 | 8.08 | 1.01 |
| 512 | 22.55 | 1.00 |
除以 √d_k 能把分数的标准差拉回 1,不管 d_k 是多少。demo.py 会打印这张表。
6. 写一个注意力头
现在你已经知道一个注意力头的每个部分了:三个投影、分数、缩放、softmax、加权平均。
把它们放进一个函数。浏览器里已经准备好了 np 和 softmax。
代码从头到尾写一个注意力头:三个投影、缩放后的分数、softmax、加权平均。需要写好几行。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
这里每个词都可以看每个词,包括它后面的词。第 15 关会加上掩码,让一个词可以被禁止
往后看或者看填充,并把注意力拆成好几个头。