注意力解决了瓶颈,但模型仍然用 LSTM 来读:一个 token 接一个 token,每一步都要等
上一步,而且输入很长时,编码器自己的状态仍然会变弱(支线 N3)。下一个想法是一次大改动:
模型 怎样读输入 输出怎样找到输入 编码器–解码器 LSTM,一步一步 只有最后的总结 + 注意力(这一关) LSTM,一步一步 对每个编码器状态做注意力 编码器–解码器 Transformer(支线 N7 ) 注意力,所有 token 同时 对每个编码器状态做注意力 GPT(第 17–21 关) 对前面的 token 做注意力,同时进行 没有单独的编码器
留下注意力,去掉循环。在第 14 关,每个词都通过对同一句话里的每个其他词做注意力
来构造它的新向量,用的正是你刚刚算过的三步:点积打分、softmax、加权平均。
我卡在这里了 这和第 14 关的注意力是同一个东西吗?算法一样:用点积打分,softmax,加权平均。有两点不同。这里是解码器状态
看向编码器状态,是两个不同的序列;第 14 关一开始是词看向同一句话里的词,
这叫自注意力。另外,第 14 关会先把每个向量乘以学出来的矩阵(查询、键、值),
这样“我要找什么”、“别人拿来比较的是什么”和“我给出什么”可以各不相同。它还会把分数除以 √d_k,
免得向量很长时 softmax 变得太尖。从这一关到支线 N7 的交叉注意力只差一小步:
解码器的查询去看编码器的键和值。
6. Boss 第 1 部分:一次算出解码器的每一步 到目前为止,解码器只有一个状态 s。它要写 T 个词,所以有 T 个状态,注意力对每个状态各算一次。
把它们按行堆成 S,形状 (T, H),所有分数就来自一次矩阵乘法:S @ E.T 是 (T, L),
第 t 行是解码器状态 t 对每个编码器状态的分数。
然后 softmax 对每一行分别做。NumPy 有两个工具可以做到。x.max(axis=-1, keepdims=True) 取出每一行最大的
数,并把结果保留成一列,这样它和 x 对得上;x.sum(axis=-1, keepdims=True) 对求和做同样的事:
x = np.array([[ 2 ., 0 , 0 ], [ 0 , 2 , - 2 ]])
x.max( axis =- 1 , keepdims = True ) # [[2.], [2.]] 每行一个数
x - x.max( axis =- 1 , keepdims = True ) # [[0., -2., -2.], [-2., 0., -4.]] 没有大于 0 的数,所以 exp 永远不会上溢 在 np.exp 之前先减去每一行最大的分数,不会改变 softmax 的结果(第 10 关),还能防止 exp 上溢。
代码 Boss 第 1 部分。一次算出解码器每一步的注意力:每个解码器状态一行权重,每行是对编码器状态做的 softmax;每个解码器状态一行上下文。softmax 要你自己写。把 ____ 换成你需要的若干行。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
▶ 运行 重置
看看你刚写的:softmax(S @ E.T) @ E。把 S 改名为 Q(查询),把 E 改名为 K 和 V(键和值),它就是
第 14 关的注意力 softmax(Q @ K.T) @ V,只是少了除以 √d_k 的缩放,以及生成 Q、K、V 的那些学出来的矩阵。
第 2 部分:在你的电脑上 把 boss.py 下载到一个单独的文件夹里,在那里打开它(配置 )。整个
倒转模型都在里面,只缺 attend_all(S, E)。用 PyTorch 写出它:和第 1 部分一样的三步,只是对一整批来做。现在 S 是
(B, T, H),E 是 (B, L, H):每个张量前面都多了一个批的轴,B 个样本各自做自己的注意力。
运行 python boss.py。它先在随机的批上检查你的 attend_all(),然后训练这个倒转模型大约一分钟,再用 300 个
新的 20 位数字串测试。完全正确的有 270 个或更多时,它会打印一行以 N5 PASS 开头的文字。把那一行粘贴到这里。
行末的代码只能说明你原样粘贴了它;这一部分靠你的诚实。
第 1 部分(这一页上的 attend_all)和这一行都通过后,这一关就算通关。
代码 Boss 第 2 部分。把 boss.py 为你自己的 attend_all() 打印的 PASS 那一行粘贴到引号之间。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
▶ 运行 重置
我们还用 H = 128、只针对这一个任务,分别训练了有注意力和没有注意力的同一个倒转模型。普通模型
比上面图里的表现好一些(在我们的机器上,20 位时答对 50%),但仍然远远比不上注意力模型(98%)。