解决办法:在注意力之前,给每个位置加上一个不同的向量。词向量 + 位置向量。 现在“位置 0 的 cat”和“位置 2 的 cat”是不同的输入,所以会得到不同的输出。
位置向量由不同频率(重复得多快)的正弦和余弦组成。
每个词有 2 个数时,位置 pos 得到 [sin(pos), cos(pos)]。
d_model = 8。它的位置编码是什么形状?我卡在这里了 为什么不直接给每个数加上 1、2、3、……?
有两个问题。第一,这些数会无限增长。位置 500 要加 500,而一个词的数只有几个单位大小, 这样词自己的数就小到无关紧要了。第二,一个在长度为 20 的句子上训练的模型, 要到使用时才第一次见到位置 300。
正弦和余弦永远在 −1 和 1 之间,而且每个位置仍然有自己的模式。在条纹图里, 左边的列变得快(用来区分相邻的位置),右边的列变得慢(用来区分相隔很远的位置)。 钟表也是这样:分针快,时针慢。
我卡在这里了 这个句子只用了 3 个位置,位置表为什么有 16 行?
位置表只建一次,按模型会见到的最长句子来建(这里是 16)。长度为 L 个 token 的句子取前 L 行:
3 个 token 就取 PE[:3]。两张表的用法不一样:
| 表 | 一个 token 取哪一行 |
|---|---|
| 嵌入表(第 13 关) | 由它是哪个 token 决定(可以是任意一行;“cat”总是第 5 行) |
| 位置表 | 由这个 token 在哪里决定:总是按顺序取第 0、1、2、…… 行 |
我卡在这里了 为什么加位置之前,词向量要先乘一个数?
第 17 关的模型做的是 x = embedding * √d_model + PE。取 d_model = 4,词向量 [−0.77, −0.62, 0.91, −0.28],
PE[0] = [0, 1, 0, 1]:
- 词 + PE[0] = [−0.77, 0.38, 0.91, 0.72]。第二个和第四个数变了号:位置盖掉了词的一部分。
- 词 × 2 + PE[0] = [−1.54, −0.24, 1.82, 0.44]。现在词的数比位置的数大。
位置的数是固定的,在 −1 和 1 之间,所以这个系数决定了词相对于它的位置有多强。
通常的解释是:如果嵌入表一开始的数大约是 1/√d_model 的大小,乘以 √d_model
就让词和位置差不多大。这样“这是什么词”就不会被“它在哪里”盖住。
第 17 关会给出真实模型里的数,第 21 关会展示一个不需要这个系数的模型。
d_model = 64。加上位置向量之前,每个词向量要乘以 √d_model。乘以多少?深入一点 任意模型宽度下的公式
对位置 pos,第 2k 列和第 2k + 1 列这一对得到:
列两两成对。第 0 对每个位置转动的速度是 1;后面每一对都转得更慢。最后一对的速度是 :d 很大时接近 1/10000,d = 4 时是 1/100。
d = 2 时只有第 0 对,所以向量是 [sin(pos), cos(pos)]。很多较新的模型改为学出位置向量,
或者按位置旋转 Q 和 K(第 19 关)。目标是一样的:给注意力一样随位置而不同的东西。
深入一点 只靠因果掩码,也能看出一点顺序
用第 15 关的因果掩码时,第 i 个词正好能看到 i + 1 个词。所以即使没有位置编码,第一个词 总是对一个词求平均,第十个词对十个词求平均:输出确实和位置有一点关系。但这太弱了, 分不清“dog bites man”和“man bites dog”,所以解码器仍然要加位置向量(或者旋转 Q 和 K)。