第 11 关 · 原理 · 在浏览器里运行
English

什么是语言模型?

预测下一个词,怎么就变成了写文章?

语言模型只做一件事:给定到目前为止的文本,它给每个可能出现在下一个位置的词一个概率。

要让它写东西,就把它放进一个循环:拿到概率,挑一个词(第 10 关讲过怎么采样),把它接到后面, 再用更长的文本去问一次。聊天机器人写出的每一个字,都是这个循环做出来的。

这一关搭出最小的语言模型,先用计数,再用神经网络。 “原理”部分接下来的各关,会让它往回看得比一个词更远。

1. 数一数邻居

最简单的模型只看前一个词。要学出它,就读一些文本,数一数每个词后面紧跟着每个其他词的次数。 一对相邻的词叫二元组(bigram)。

下面是一小段文本。它有 12 个词,所以有 11 对相邻的词:

the cat sat . the dog sat . a cat ran .
数字 在“the cat sat . the dog sat . a cat ran .”里,“sat”后面紧跟着“.”有几次?

把计数除以这一行的总数,它就变成了概率:在所有看到 “cat” 的时候里, 下一个词是 “sat” 的比例是多少?

数字 在“the cat sat . the dog sat . a cat ran .”里,“cat”出现了两次:一次在“sat”前面,一次在“ran”前面。P(sat | cat) 是多少?

下面是这段文本完整的计数表。行 = 这个词,列 = 下一个词。

theacatdogsatran.
the0011000
a0010000
cat0000110
dog0000100
sat0000002
ran0000001
.1100000
选择一个计数模型往回看一个词。它只数过文本“the cat sat . the dog sat . a cat ran .”。它给句子“a dog sat .”的概率是多少?

2. 更多的故事

三句话太少了。实验台用的是 200 个小故事,它们都由我们自己定的一条规则生成:

(the | a) (cat | dog) (sat | ran) [on the (mat | rug)] .

每一处选择都是随机的:70% 的时候是 “the”,60% 是 “cat”,50% 是 “sat”,一半的句子带上 “on the mat” 或 “on the rug”。 这样词表就有 10 个词(句号“.”也算一个词)。160 个故事用来计数;40 个留出来(不用来计数),之后用来测试模型。

打开实验台之前,先回答一个问题:这个计数模型能写出什么。

选择一个计数模型往回看一个词。它的训练故事里多次出现“… on the mat .”,但没有哪个故事里出现过前面不带“on”的“the mat .”。这个模型能写出“the mat .”吗?

数一数哪个词跟在哪个词后面

在左边选一个词,看它后面能跟什么,然后让计数来写一句话。

正在加载故事……

从一个“.”之后开始,按概率挑出每个下一个词。
故事加载完后会显示困惑度。
动手试试

一直按“写一句话”,直到得到一句标着故事里从没有的句子。找到它出错的那一步, 看看那个词下面的概率。每一步单独看都是允许的。只有整句话是奇怪的。

我卡在这里了 它每次只挑一个词。那写作是从哪里来的?

来自那个循环。每次挑出的词都成为文本的一部分,下一次就从新的文本出发去挑。 一句话不过是很多次单独挑选的记录。

这也是为什么挑错一次就可能让后面整句都错:模型从不回头改一个词。 第 18 关会看更聪明的挑选方法。

3. 给模型打分:困惑度

一个语言模型有多好?给它看没见过的文本,看它给每个真正出现在下一个位置的词的概率。 对 −ln⁡p-\ln p 求平均,再把对数还原回去:

perplexity=exp⁡(1n∑k=1n−ln⁡pk)\text{perplexity} = \exp\Big(\frac{1}{n}\sum_{k=1}^{n} -\ln p_k\Big)

第 10 关介绍过这个公式并写成了代码;这里你只需要手算。困惑度(perplexity)为 4 表示模型平均来说 就像在 4 个同样可能的词里做选择一样没把握。越低越好。在 10 个词里均匀乱猜,困惑度正好是 10。

数字 在一个“.”之后,一个模型读到“the cat ran”,它给每个下一个词的概率是 P(the | .) = 0.5,P(cat | the) = 0.5,P(ran | cat) = 0.5。困惑度是多少?
我卡在这里了 如果模型给一个真实的下一个词的概率是 0 呢?

那么 −ln⁡0-\ln 0 是无穷大,困惑度也是无穷大。一个看起来不可能出现的词就毁掉了整个分数。 只要测试文本里有一对它从没数到过的词,比如小例子里的 “a dog”,计数模型就会这样。

计数模型通常的补救办法是平滑:除之前先给每一格加一个小数,比如 1,这样就没有哪一对是 完全不可能的。神经网络模型从来没有这个问题,因为 softmax 永远不会输出正好 0。

4. 用神经网络做同一个模型

计数表也可以学出来。给网络一张权重表 W,每个前一个词一行。 这一行是一列分数,softmax 把它们变成概率:

P(next∣prev)=softmax(onehot(prev) W)P(\text{next} \mid \text{prev}) = \text{softmax}(\text{onehot}(\text{prev})\, W)

乘以一个独热行,就是取出 W 的第 “prev” 行。(第 13 关用同一个技巧给每个词一列数字。) 训练就是第 2 关的那个循环:算真实下一个词的交叉熵,求梯度,走一步。

形状 这些故事的词表有 10 个词。W 为每个前一个词存一行分数,每个可能的下一个词一个分数。W 是什么形状?
选择计数模型在 40 个留出故事上的困惑度是 2.016。神经网络版本的 W 一开始全是 0(困惑度 10),在同样的 160 个故事上训练。训练之后它的困惑度大约是多少?

用梯度下降学出同一张表

训练 10×10 的权重表 W,看它在留出句子上的困惑度怎样降向计数模型的困惑度。

正在加载故事……

步数 0 · 训练损失 – · 困惑度 0.000 (计数模型 0.000)
神经网络的表(你的,正在训练) 计数模型(目标)

权重从 0 开始,所以每一行一开始都是均匀的:困惑度 10。走 300 步之后是 2.037, 并且还在慢慢靠近计数模型的 2.016。

这里的学习率是 5,比第 2 关的 0.05 大得多。这是安全的,原因在于这个损失曲面的形状: 在一张表上做 softmax 加交叉熵,往每个方向都变化得很慢,所以即使步子很大,也不会跳过最低点太远。 (第 2 关在 x 最大为 3 时的平方误差变化快得多,所以在那里 0.2 就已经发散了。)

代码算出真实下一个词的平均交叉熵。W 是 (2, 2),prev 和 nxt 是词 id 组成的数组。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

深入一点 为什么训练会找到计数

对其中一行来说,损失是真实下一个词和 softmax(W[row]) 之间的交叉熵。 没有别的东西把各行联系在一起,所以你能做到的最好结果,就是让 softmax(W[row]) 等于每个词跟在后面的比例, 这正好就是计数表除以它的行总数。

所以当上下文只有一个词时,神经网络和计数模型是同一个模型,只是用两种不同的方法找到。 差别只有在上下文变长时才会出现,这就是下一节的内容。

5. 为什么计数行不通了

要往回看两个词,计数表就需要为每一对前面的词准备一行。

数字 词表有 10 个词时,往回看 2 个词的计数表需要多少行(每一对可能的前两个词一行)?
选择真实的词表有 50,000 个 token。往回看 3 个 token 的计数表需要 50,000³ = 125,000,000,000,000 行。会出什么问题?

神经网络不需要每个上下文一行。它把每个词变成一个向量(第 13 关),意思相近的词得到相近的向量, 所以它从 “the cat sat” 学到的东西对 “the dog sat” 也有帮助。然后注意力(第 14 关) 让它用自己算出的权重,一次看到前面所有的词。这就是从这里通往 GPT 的路。

6. 一行写完整个计数模型

在我们不再用计数之前,自己搭一次它的概率表。你有第 1 节的计数表 C (行 = 这个词,列 = 下一个词),这一次加上平滑:先给每一格加 1,这样就没有哪一对是 完全不可能的(数到 0 次的一对现在算 1 次,数到 2 次的算 3 次)。然后每一行都要变成 加起来等于 1 的概率,所以每一行除以它自己的总数。两个 NumPy 工具就能做到:

M = np.array([[1, 3], [2, 2]])
M.sum(axis=1)                  # [4, 4]       每行一个总数,形状 (2,)
M.sum(axis=1, keepdims=True)   # [[4], [4]]   同样的总数,形状 (2, 1)
M / M.sum(axis=1, keepdims=True)   # [[0.25, 0.75], [0.5, 0.5]]   (2, 1) 沿列拉伸
代码C 是“the cat sat . the dog sat . a cat ran .”的计数表(行 = 这个词,列 = 下一个词)。写出 probs:用加一平滑得到下一个词的概率,让每一行加起来都是 1。需要写几行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 数出一段文本里的二元组,并把计数表的一行变成下一个词的概率。
  • 根据真实下一个词的概率,手算一小段文本的困惑度。
  • 说出为什么往回看好几个词的计数表会大到填不满。

要记住

  • = 这一对出现的次数 / prev 那一行的总数
  • :越低越好;在 10 个词里均匀分配得到 10
  • ,W 的形状是 (V, V)
  • P = C / C.sum(axis=1, keepdims=True):每一行加起来都是 1
  • 有 10 个词时,往回看 2 个词需要 10 × 10 = 100 行

常见错误

  • 把计数除以列的总数或整张表的总数,而不是它自己那一行的总数。
  • 把概率乘起来(0.5 × 0.5 × 0.5),而不是对 −ln p 求平均再取 e 的幂。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星