把计数除以这一行的总数,它就变成了概率:在所有看到 “cat” 的时候里, 下一个词是 “sat” 的比例是多少?
什么是语言模型?
预测下一个词,怎么就变成了写文章?
跳过这一关的小测
独立做出这 4 道题。 全部答对,这一关就算三星通关。看过答案的不算。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
热身前面关卡的 2 道题
开始前快速复习一下。可选,不会锁住这一关。
语言模型只做一件事:给定到目前为止的文本,它给每个可能出现在下一个位置的词一个概率。
要让它写东西,就把它放进一个循环:拿到概率,挑一个词(第 10 关讲过怎么采样),把它接到后面, 再用更长的文本去问一次。聊天机器人写出的每一个字,都是这个循环做出来的。
这一关搭出最小的语言模型,先用计数,再用神经网络。 “原理”部分接下来的各关,会让它往回看得比一个词更远。
1. 数一数邻居
最简单的模型只看前一个词。要学出它,就读一些文本,数一数每个词后面紧跟着每个其他词的次数。 一对相邻的词叫二元组(bigram)。
下面是一小段文本。它有 12 个词,所以有 11 对相邻的词:
the cat sat . the dog sat . a cat ran .
下面是这段文本完整的计数表。行 = 这个词,列 = 下一个词。
| the | a | cat | dog | sat | ran | . | |
|---|---|---|---|---|---|---|---|
| the | 0 | 0 | 1 | 1 | 0 | 0 | 0 |
| a | 0 | 0 | 1 | 0 | 0 | 0 | 0 |
| cat | 0 | 0 | 0 | 0 | 1 | 1 | 0 |
| dog | 0 | 0 | 0 | 0 | 1 | 0 | 0 |
| sat | 0 | 0 | 0 | 0 | 0 | 0 | 2 |
| ran | 0 | 0 | 0 | 0 | 0 | 0 | 1 |
| . | 1 | 1 | 0 | 0 | 0 | 0 | 0 |
2. 更多的故事
三句话太少了。实验台用的是 200 个小故事,它们都由我们自己定的一条规则生成:
(the | a) (cat | dog) (sat | ran) [on the (mat | rug)] .每一处选择都是随机的:70% 的时候是 “the”,60% 是 “cat”,50% 是 “sat”,一半的句子带上 “on the mat” 或 “on the rug”。 这样词表就有 10 个词(句号“.”也算一个词)。160 个故事用来计数;40 个留出来(不用来计数),之后用来测试模型。
打开实验台之前,先回答一个问题:这个计数模型能写出什么。
数一数哪个词跟在哪个词后面
在左边选一个词,看它后面能跟什么,然后让计数来写一句话。
正在加载故事……
一直按“写一句话”,直到得到一句标着故事里从没有的句子。找到它出错的那一步, 看看那个词下面的概率。每一步单独看都是允许的。只有整句话是奇怪的。
我卡在这里了 它每次只挑一个词。那写作是从哪里来的?
来自那个循环。每次挑出的词都成为文本的一部分,下一次就从新的文本出发去挑。 一句话不过是很多次单独挑选的记录。
这也是为什么挑错一次就可能让后面整句都错:模型从不回头改一个词。 第 18 关会看更聪明的挑选方法。
3. 给模型打分:困惑度
一个语言模型有多好?给它看没见过的文本,看它给每个真正出现在下一个位置的词的概率。 对 求平均,再把对数还原回去:
第 10 关介绍过这个公式并写成了代码;这里你只需要手算。困惑度(perplexity)为 4 表示模型平均来说 就像在 4 个同样可能的词里做选择一样没把握。越低越好。在 10 个词里均匀乱猜,困惑度正好是 10。
我卡在这里了 如果模型给一个真实的下一个词的概率是 0 呢?
那么 是无穷大,困惑度也是无穷大。一个看起来不可能出现的词就毁掉了整个分数。 只要测试文本里有一对它从没数到过的词,比如小例子里的 “a dog”,计数模型就会这样。
计数模型通常的补救办法是平滑:除之前先给每一格加一个小数,比如 1,这样就没有哪一对是 完全不可能的。神经网络模型从来没有这个问题,因为 softmax 永远不会输出正好 0。
4. 用神经网络做同一个模型
计数表也可以学出来。给网络一张权重表 W,每个前一个词一行。 这一行是一列分数,softmax 把它们变成概率:
乘以一个独热行,就是取出 W 的第 “prev” 行。(第 13 关用同一个技巧给每个词一列数字。) 训练就是第 2 关的那个循环:算真实下一个词的交叉熵,求梯度,走一步。
用梯度下降学出同一张表
训练 10×10 的权重表 W,看它在留出句子上的困惑度怎样降向计数模型的困惑度。
正在加载故事……
权重从 0 开始,所以每一行一开始都是均匀的:困惑度 10。走 300 步之后是 2.037, 并且还在慢慢靠近计数模型的 2.016。
这里的学习率是 5,比第 2 关的 0.05 大得多。这是安全的,原因在于这个损失曲面的形状: 在一张表上做 softmax 加交叉熵,往每个方向都变化得很慢,所以即使步子很大,也不会跳过最低点太远。 (第 2 关在 x 最大为 3 时的平方误差变化快得多,所以在那里 0.2 就已经发散了。)
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
深入一点 为什么训练会找到计数
对其中一行来说,损失是真实下一个词和 softmax(W[row]) 之间的交叉熵。 没有别的东西把各行联系在一起,所以你能做到的最好结果,就是让 softmax(W[row]) 等于每个词跟在后面的比例, 这正好就是计数表除以它的行总数。
所以当上下文只有一个词时,神经网络和计数模型是同一个模型,只是用两种不同的方法找到。 差别只有在上下文变长时才会出现,这就是下一节的内容。
5. 为什么计数行不通了
要往回看两个词,计数表就需要为每一对前面的词准备一行。
神经网络不需要每个上下文一行。它把每个词变成一个向量(第 13 关),意思相近的词得到相近的向量, 所以它从 “the cat sat” 学到的东西对 “the dog sat” 也有帮助。然后注意力(第 14 关) 让它用自己算出的权重,一次看到前面所有的词。这就是从这里通往 GPT 的路。
6. 一行写完整个计数模型
在我们不再用计数之前,自己搭一次它的概率表。你有第 1 节的计数表 C
(行 = 这个词,列 = 下一个词),这一次加上平滑:先给每一格加 1,这样就没有哪一对是
完全不可能的(数到 0 次的一对现在算 1 次,数到 2 次的算 3 次)。然后每一行都要变成
加起来等于 1 的概率,所以每一行除以它自己的总数。两个 NumPy 工具就能做到:
M = np.array([[1, 3], [2, 2]])
M.sum(axis=1) # [4, 4] 每行一个总数,形状 (2,)
M.sum(axis=1, keepdims=True) # [[4], [4]] 同样的总数,形状 (2, 1)
M / M.sum(axis=1, keepdims=True) # [[0.25, 0.75], [0.5, 0.5]] (2, 1) 沿列拉伸Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
小结
通关后的总结
通关后,这里会显示关键公式和常见错误。
你现在会了
- 数出一段文本里的二元组,并把计数表的一行变成下一个词的概率。
- 根据真实下一个词的概率,手算一小段文本的困惑度。
- 说出为什么往回看好几个词的计数表会大到填不满。
要记住
- = 这一对出现的次数 / prev 那一行的总数
- :越低越好;在 10 个词里均匀分配得到 10
- ,
W的形状是(V, V) P = C / C.sum(axis=1, keepdims=True):每一行加起来都是 1- 有 10 个词时,往回看 2 个词需要 10 × 10 = 100 行
常见错误
- 把计数除以列的总数或整张表的总数,而不是它自己那一行的总数。
- 把概率乘起来(0.5 × 0.5 × 0.5),而不是对 −ln p 求平均再取 e 的幂。
按 ? 查看快捷键