掩码决定每个词可以注意哪些词
点一个词,把它变成填充。指向或点一下某个权重,看它为什么被挡住。
| 0 | 0 | 0 | 1 | 1 |
| 0 | 0 | 0 | 1 | 1 |
| 0 | 0 | 0 | 1 | 1 |
| 0 | 0 | 0 | 1 | 1 |
| 0 | 0 | 0 | 1 | 1 |
| 0 | 0 | 0 | 1 | 1 |
| 0 | 1 | 1 | 1 | 1 |
| 0 | 0 | 1 | 1 | 1 |
| 0 | 0 | 0 | 1 | 1 |
| 0 | 0 | 0 | 0 | 1 |
| 0 | 0 | 0 | 0 | 0 |
| the | cat | sat | PAD | PAD | |
|---|---|---|---|---|---|
| the | 0 | 1 | 1 | 1 | 1 |
| cat | 0 | 0 | 1 | 1 | 1 |
| sat | 0 | 0 | 0 | 1 | 1 |
| PAD | 0 | 0 | 0 | 1 | 1 |
| PAD | 0 | 0 | 0 | 1 | 1 |
| the | cat | sat | PAD | PAD | |
|---|---|---|---|---|---|
| the | 1.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| cat | 0.50 | 0.50 | 0.00 | 0.00 | 0.00 |
| sat | 0.33 | 0.33 | 0.33 | 0.00 | 0.00 |
| PAD | 0.33 | 0.33 | 0.33 | 0.00 | 0.00 |
| PAD | 0.33 | 0.33 | 0.33 | 0.00 | 0.00 |
在一个批里,填充掩码的形状是 (B, 1, 5);那个 1 是查询轴,掩码沿着它被复制。
在掩码实验台里取消勾选“因果”,点最后两个词,把它们变成填充。现在哪些列空了? 再把“因果”打开。不管你填充哪些词,哪一行总是正好只有一个开着的格子?
我卡在这里了 为什么因果掩码是一张 6×6 的表,而不只是 6 个数?
因为它是加在权重上的掩码,而权重表每个去看的词占一行,每个被看的词 占一列。对因果掩码来说,“词 i 能不能看词 j”同时取决于 i 和 j,所以需要一整张 6×6 的表。
填充掩码确实只要 6 个数,每列一个:PAD token 对所有人都是挡住的。 所以它存成一行,形状 (1, 6),用的时候再往下复制到每一行。
表的大小来自看自己的那个序列:6 个 token 看同样这 6 个 token。支线 N7 里有两个 序列的模型(源序列和目标序列,长度不同)。它的第 5 节说明了每种注意力用哪个掩码,以及哪个长度决定掩码的大小。