从 token 到向量:查表
选一个 token,看它的独热行乘以嵌入表。拖动一个点(或选中它后用方向键)可以改它那一行。
token id(共 5 个 token)。选一个。
嵌入表 E,形状 (4, 2)
| id | 字符 | one-hot | E 的行 |
|---|---|---|---|
| 0 | e | 0 | [-1.4, 0.1] |
| 1 | h | 1 | [1.5, -1.2] |
| 2 | l | 0 | [-0.1, -1.5] |
| 3 | o | 0 | [-1.3, 1.5] |
“取第 2 行”也可以写成矩阵乘法。做一个独热(one-hot)行:全是 0, 只在第 2 个位置上是 1。用它乘这张表,除了第 2 行,每一行都乘了 0。 在实验台里选一个 token,看看 one-hot 那一列。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
我卡在这里了 为什么不直接把 id 当成数交给网络?h = 1、l = 2 本来就是数。
因为网络会把它们当成数量。它会“认为” l(2)是 h(1)的两倍,
而 o(3)在 l 再往后一点的地方。这些都不对。id 只是名字,按字母顺序排而已。
每个 token 用一个由好几个数组成、网络可以自由学习的向量,就没有这个问题。两个 token 可以 因为真实的原因变得接近或远离,而且可以在很多个方向上接近。
深入一点 表里的数是从哪来的
用第 12 关的 BPE token,这张表有几万行,每行有几百到几千个数。 道理和这里一样:一个 id 选出一行。
这些行一开始是随机数。它们就是权重,和第 3 关的权重完全一样,训练时用梯度下降 去移动它们。用法相似的 token 会得到相似的行,因为这有助于模型预测下一个 token。 没有人手工写进含义。第 3 节会说明为什么会这样。