第 14 关 · 原理 · 在浏览器里运行
English

自注意力

一个词怎样“看向”其他词?

学完第 13 关,每个词都是一串数。可是“bank”在“river bank”和“bank account”里的那串数是一样的。 一个词需要用上它周围那些词的信息。注意力(attention)就是做这件事的办法:每个词都把句子里的所有词 按它自己算出来的比例混合起来,得到一个新向量。

这是 Transformer 最重要的部分。这一关一小步一小步地把它搭起来,始终只用三个词,每个词两个数。

1. 为什么不从左往右读就行了?

在注意力出现之前,读一句话的常见办法是循环神经网络(RNN)。它一次读一个词, 并保留一份到目前为止所有内容的摘要,也就是隐藏状态 h。每来一个新词 xtx_t,就更新它:ht=tanh⁡(w ht−1+xt)h_t = \tanh(w\,h_{t-1} + x_t) (这是支线 N3 里 RNN 的单个数的版本)。

这种设计有两个问题:

  1. 大小固定。 读到第 50 个词时,前面 49 个词的所有信息都得塞进同样那几个数里。
  2. 越早的词越弱。 第一个词的影响要经过后面的每一步才能到达结尾,而每一步 都要乘上 w(还要乘上 tanh 的斜率,它从不超过 1)。所以当模型把句子结尾预测错了时, 修正几乎传不到第一个词,训练也就学不会用上它。
数字 在 w = 0.5 的 RNN 里,忽略 tanh,后面每来一个词,词 1 对隐藏状态的影响就乘上 0.5。再过 3 个词,词 1 的影响一共乘上了多少?

下面是 w = 0.5 时它缩小得有多快:

往后几个词第一个词的影响要乘上
10.5
20.25
50.0312
100.000977
508.88 × 10⁻¹⁶

几十个词之后,句子开头的影响几乎为零。注意力的做法正好相反: 每个词都直接看其他每个词,一步到位,不管隔多远。对第 50 个词来说,读第一个词 和读第 49 个词一样容易。这一关剩下的部分就来搭建它。

经典网络分支会搭一个 RNN 和一个 LSTM(支线 N3 和支线 N4),完整地展示这种缩小。支线 N5 在一个真实的任务上测量这个问题:一份 32 个数的摘要,在 20 位数字串的反转任务上正确率是 0%。N5 还用单个提问向量 算出了第一个注意力。这一关加上矩阵 W_Q、W_K、W_V,让每个词都能提问。

2. 加权平均

三个词:cat = [2, 0],dog = [1, 1],car = [0, 2]。注意力做三件事:

  1. 分数。 每个词和每个词做点积:scores = X @ X.T。点积大表示“这两个指向同一方向”。 实验台接着把每个分数除以 √2。现在先把它当成一个固定的缩放;第 5 节会解释为什么。
  2. 权重。 用 softmax 把每一行分数变成加起来等于 1 的比例。
  3. 输出。 每个词的新向量是所有词的加权平均:output = weights @ X。

拖动这些点。下面的每张表都会跟着变。

每个词的输出是所有词的加权平均

拖动一个词的点(或选中它后用方向键)。指向或点一下某个权重,看谁在看谁。

12xycatdogcar
cat 看每个词的程度 cat′ = cat 的输出,即加权混合(每一段:每个词的权重)
画出这个词的输出:
X(3 个词 × 2 个数)
xy
cat
dog
car
↓ 每个词和每个词做点积,再除以 √2
分数 = X Xᵀ / √2
catdogcar
cat2.83?0
dog?1.411.41
car01.412.83
↓ 对每一行做 softmax,让它加起来等于 1
权重
catdogcar
cat0.770.190.05
dog0.330.330.33
car0.050.190.77
↓ 用这些权重混合词向量
输出 = 权重 @ X
xy
cat?0.28
dog11
car0.281.72
cat 的输出 = 0.77×cat + 0.19×dog + 0.05×car = [?, 0.28] 你在下面算出 cat 输出的 x 之后,图上才会画出 cat 的输出。
数字 除以 √2 之前,cat 看 dog 的分数是多少?(cat = [2, 0],dog = [1, 1])

Softmax 把一行分数变成权重。它对每个分数取 e 的幂,再除以总和, 所以分数大的拿到大部分权重,而且每个权重都是正数。 cat 那一行缩放后的分数是 [2.83, 1.41, 0],变成权重 [0.768, 0.187, 0.045]。

数字 cat = [2, 0],dog = [1, 1],car = [0, 2]。cat 在 (cat, dog, car) 上的注意力权重是 [0.768, 0.187, 0.045]。cat 的输出的第一个数(x)是多少?(保留 2 位小数)
选择在词 cat、dog、car(按这个顺序)的注意力权重表里,行是词,列也是词。weights[0][2] = 0.045。这个数说的是什么?
选择三个词互相做注意力,scores = X @ X.T / √2,然后做 softmax:cat = [2, 0],dog = [1, 1],car = [0, 2]。如果 car 变成 [5, 5](cat 和 dog 不变),car 那一行权重会怎样?
我卡在这里了 为什么 score(cat, dog) 总是等于 score(dog, cat)?

因为两者来自同一个点积:cat · dog = dog · cat。 当每个词用自己的向量来提问,同时也用它来回答时,分数表是对称的:对角线两边一样。

这是一个真正的局限。“The cat chased the dog”(猫追狗)需要 cat → dog 和 dog → cat 不一样。 第 3 节会解决它。

现在把它写出来。浏览器里已经准备好了 np 和 softmax。

代码写出 attention 里算分数的那一行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

动手试试

按“car 变成 [5, 5]”。car 那一行权重一下子变成差不多 [0, 0, 1]。再按“三个都一样”: 每一行都变成 [0.33, 0.33, 0.33]。没有哪个分数明显比其他的大时,注意力就只是普通的平均。

3. Q、K、V:每个词的三个版本

到目前为止,每个词都用同一个向量做三件事。在真正的 Transformer 里,每个词会做出自己的三个版本, 办法是乘以三个学出来的矩阵:

  • Q = X @ W_Q,查询(query):这个词在找什么。
  • K = X @ W_K,键(key):其他词拿自己的查询来比较的标签。
  • V = X @ W_V,值(value):别的词看这个词时,它交给输出的东西。

“a 看 b”的分数现在是 a 的查询 · b 的键。

然后一切照旧:attention(Q, K, V) = softmax(Q @ K.T / √d_k) @ V。

每个词的三个角色:问题(Q)、标签(K)和内容(V)

改任意一个数,或试一个预设。指向或点一下某个分数,看它是怎么算出来的。

1 词和三个投影矩阵

X
cat
dog
car
W_Q
W_K
W_V

2 每个词得到一个查询、一个键和一个值

Q = X W_Q
cat20
dog11
car02
K = X W_K
cat00
dog10
car20
V = X W_V
cat20
dog11
car02

3 每个查询和每个键算分数,做 softmax,混合值

分数 = Q Kᵀ
catdogcar
cat024
dog012
car?00
不对称
权重 = softmax(分数 / √2)
catdogcar
cat0.050.190.77
dog0.140.280.58
car0.330.330.33
输出 = 权重 V
cat0.281.72
dog0.561.44
car11

单向的键:每个键是 [y, 0],所以 cat 可以看 car,但 car 不看 cat。

选一个分数。问题来自这一行的词的 Q,标签来自这一列的词的 K。

按“交换键”:cat 现在主要看 car。再按“单向的键”:W_K = [[0, 0], [1, 0]],所以每个词的键 是把它的 y 那个数挪到最前面,[y, 0]。看看分数下面的标记。

数字 看“单向的键”这个例子:W_Q 是单位矩阵,W_K = [[0, 0], [1, 0]],所以 K = X @ W_K 把每个词 [x, y] 变成键 [y, 0]。cat = [2, 0],car = [0, 2]。car 看 cat 的分数,也就是 car 的查询 · cat 的键,是多少?
形状 一句话有 5 个词。Q 和 K 都是 (5, 4)。Q @ K.T 是什么形状?
我卡在这里了 既然分数里没有 W_V,它还重要吗?

分数(以及权重)只用到 Q 和 K。W_V 不改变谁被看,它改变的是复制什么。 按“V 只保留 x”:权重完全不变,但每个输出都丢掉了它的 y 那个数, 因为 V 只带着 x。Q 和 K 决定读哪些词;V 决定这些词各自给出什么。

深入一点 为什么不只用一个矩阵?

分数 q_a · k_b 等于 x_a W_Q W_Kᵀ x_bᵀ。所以分数只取决于乘积 W_Q W_Kᵀ,这里是一个 2×2 的矩阵。 如果这个乘积是对称的,分数也是对称的。这就是“交换键”仍然给出对称的表的原因: 交换矩阵是对称的。“单向的键”不是,所以 cat 可以看 car,而 car 不回看。

把乘积拆成 W_Q 和 W_Kᵀ,还能让模型在一个比词向量本身(d_model 个数)更小的空间 (d_k 个数)里比较词。第 15 关会利用这一点,并排运行好几个注意力。

4. 没有人设计这些矩阵

第 3 节里的矩阵是手写的。在真实的模型里没有人写它们:它们是学出来的,就像 第 2 关学出一条直线那样。下面是最小的版本。两个词,apple = [1, 0],sweet = [0, 1]。 任务:sweet 的输出应该是 apple 的内容 [1, 0]。W_K 和 W_V 是单位矩阵, W_Q = [[0, 0], [c, 0]]:只有左下角那个数 c 可以变。 于是 sweet 的查询是 [0, 1] @ W_Q = [c, 0],所以 c 决定 sweet 看 apple 看得有多用力。 实验台用第 2 关的平方误差衡量和目标值的差距,两个数的误差加起来: loss = (out_x − 1)² + (out_y − 0)²。梯度下降改变 c,让损失变小。

注意力是学出来的:梯度下降改变 W_Q 里的一个数 c

按一个“步”按钮,让训练来改 c;或者用滑块自己设 c。

W_Q
00
c = 0.000
权重(谁看谁)
applesweet
apple0.500.50
sweet??
步数
0
sweet 的查询
[0.00, 0]
sweet 的输出
[?, ?]
目标值
[1, 0]
损失
0.50000
d loss / d c
-0.3536
数 c 取每个值时的损失
00.511.5-202468c →损失

小球走到哪里,曲线就画到哪里。

c = 0.00 · 损失 0.50000 · 斜率 -0.3536,所以下一步让 c 变化 +0.3536
当前的 c(每一步都会移动它) 它的斜率,d 损失 / d c(梯度) 损失 0:目标,永远到不了
数字 c = 0 时,sweet 的查询是 [0, 0]。键是 apple = [1, 0] 和 sweet = [0, 1]。sweet 放在 apple 上的权重是多少?
先猜一猜动手之前先猜:如果一直按“200 步”,c 会怎样?

Q、K、V 是事先训练好的吗?不是。模型里有两种不同的数,只有一种是训练出来的。

种类例子从哪里来和模型一起保存吗?
参数W_Q、W_K、W_V、嵌入表一开始是随机的;训练改变它们保存,训练后固定不变
激活值Q、K、V、分数、权重、输出模型每次运行时从输入 X 算出来不保存:每次运行后就删掉(训练时会留到反向传播用完)

所以 W_Q 存在模型里;Q 不存。给模型一句新话,同一个固定的 W_Q 会算出一个新的 Q。 (第 18 关会讲一个例外:写长文本时,前面那些词的 K 和 V 会保留一段时间,这就是 KV 缓存。)

在新的输入上运行训练好的模型叫作推理(inference):参数固定不变,输入把每一层 都走一遍,模型给出输出。注意力是这次运行中每一层里的一步。训练也走同样这些步骤,然后 把输出和目标值比较,再改变参数。

选择模型训练好并保存了。用户输入了一句新话。和上次运行模型时相比,哪些数不一样了?
我卡在这里了 目标值是一种注意力模式吗?我们会告诉模型该看哪里吗?

不会。损失比较的是 sweet 的输出和 [1, 0]。权重从不出现在损失里。训练一直改 c,直到 输出对了为止。权重也跟着变了,但只是因为 c 变了。

目标值来自任务。在这个实验台里它是给定的。在语言模型里,它本来就在文本中:下一个词 (第 11 关)。从来没有人写下“这个词应该看那个词”。

深入一点 把 W_V 也训练:同样的损失,不同的注意力

实验台只训练 c,W_V 保持不变。如果 W_Q、W_K 和 W_V 都训练呢?demo.py 做了四次:

训练的是什么sweet 放在 apple 上的权重损失
W_Q 和 W_K(W_V 固定为单位矩阵)1.000.0000
三个都训练,从单位矩阵开始0.520.0000
三个都训练,随机开始(随机种子 0)0.160.0000
三个都训练,随机开始(随机种子 1)0.730.0000

每次都得到正确的输出,但注意力权重完全不同。当 W_V 可以变时,V 也能让 “看 sweet”给出 [1, 0]。所以一张注意力图只是得到同样输出的许多方式之一。热力图显示的是一个 训练好的模型做了什么,而不是它必须怎么做。读热力图时要小心。

5. 为什么要除以 √d_k

到目前为止,每个分数在 softmax 之前都除以了 √d_k = √2。(d_k 是每个查询和每个键里数的个数,这里是 2。) 不除会怎样?

数字 不除以 √2 时,cat 的分数 cat·cat、cat·dog、cat·car = [4, 2, 0]。用 e⁴ ≈ 54.6,e² ≈ 7.4,e⁰ = 1。softmax 之后,cat 放在自己身上的权重是多少?(保留 2 位小数)

验证一下:在第一个实验台里取消勾选“把分数除以 √d_k”,看 cat 那一行。

不除的话,权重会更尖锐。每个词两个数时,这个影响很小。 有 64 或 512 个数时,影响就很大了:点积要把 d_k 项加起来,所以它会随 d_k 增大。 对很大的数做 softmax,几乎所有权重都落在一个词上,这时用来训练 W_Q 和 W_K 的梯度几乎消失。

深入一点 分数会变得多大?

取随机的查询向量和键向量,它们的数的标准差(std)是 1。它们点积的标准差是 √d_k:

d_kq · k 的标准差除以 √d_k 之后
21.421.01
648.081.01
51222.551.00

除以 √d_k 能把分数的标准差拉回 1,不管 d_k 是多少。demo.py 会打印这张表。

6. 写一个注意力头

现在你已经知道一个注意力头的每个部分了:三个投影、分数、缩放、softmax、加权平均。 把它们放进一个函数。浏览器里已经准备好了 np 和 softmax。

代码从头到尾写一个注意力头:三个投影、缩放后的分数、softmax、加权平均。需要写好几行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

这里每个词都可以看每个词,包括它后面的词。第 15 关会加上掩码,让一个词可以被禁止 往后看或者看填充,并把注意力拆成好几个头。

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 对 2 到 3 个词,手算一个词的分数、softmax 权重和输出。
  • 用三个矩阵从 X 得到 Q、K、V,并说出每一步的形状。
  • 用 NumPy 写出一个注意力头,从 X 一直到输出。

要记住

  • 注意力:softmax(Q @ K.T / √d_k) @ V
  • Q = X @ W_Q,K = X @ W_K,V = X @ W_V
  • (L, d_k) @ (d_k, L) → 分数 (L, L):第 i 行 = 去看的那个词,第 j 列 = 被看的那个词
  • 每一行权重加起来等于 1;输出是 V 各行的加权平均
  • 除以 ,让分数的标准差不管 多大都保持在 1 左右

常见错误

  • 把分数写成 Q @ K 或 Q * K.T:每个查询和每个键做点积是 Q @ K.T。
  • 把权重表的行和列读反了:weights[0][2] 是词 0 从词 2 取多少。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星