语言模型从不直接写出一个词。它的最后一步给出每个可能的下一个词一个分数。
分数越高,表示“越可能”。(这些原始分数也叫 logits。后面几关两个说法都会用,指的是同一个东西。)
接着发生两件事:
- softmax 把分数变成加起来等于 1 的概率。
- 模型随机挑一个词,就像掷一颗不均匀的骰子:概率越高的词,被挑中得越多。
1. 随机挑一个词
这里有四个可能的下一个词。采样几次,看看计数。
温度滑块先停在 1。第 3 节会讲它。
温度改变概率;采样按这些概率挑词
调一调温度,然后采样一些词,把计数和概率比一比。
那只猫坐在 ___ 上
词分数分数 / T概率采样
垫子 2.0 2.00 ? —
沙发 1.0 1.00 ? —
屋顶 0.5 0.50 ? —
月亮 -1.0 -1.00 ? —
回答下面的问题之后,概率才会显示出来。
还没有采样。改变 T 会清空计数。
概率 目前为止采样结果中的比例 最后抽到的词
每个词的概率是它在总数里占的份额:它的 escore 除以四个词的总和。
(第 2 节会解释为什么用 escore。如果你对 e 还不熟,数学页 有一张简短的表。)
2. softmax 怎样工作
两步。第一步,对每个分数取 escore。这让每个数都变成正数,
也让大的分数变得大得多。然后把每个数除以总数,让它们加起来等于 1。
pi=∑jesjesi∑j 读作“对每个词 j 求和”。所以分母是 es0+es1+…,也就是总数(词从 0 开始数)。
只用两个词试试,分数是 [2, 0]。你需要 e2≈7.39 和 e0=1。
选择分数 [2, 0] 给出概率 0.88 和 0.12。给两个分数都加 10:[12, 10]。概率会怎样?
我卡在这里了 为什么不直接用每个分数除以所有分数的和?
因为分数可以是负数或 0。分数 [2, -2] 加起来是 0,而你不能除以 0。
分数 [1, -3] 会让其中一个词的概率是 −0.5,这说不通。
对每个 x,ex 都是正数,所以对每个分数取 e 的幂之后,每个数都是合格的权重。
它还只在乎差:es+10=es⋅e10,而 e10 同时出现在分子和
分母里,所以被约掉了。这就是为什么给每个分数都加 10 什么也没改变。
3. 温度
在 softmax 之前,模型可以把每个分数都除以一个数 T,这个数叫温度(temperature)。
- T<1 让差距变大。最高的那个词几乎每次都赢。
- T>1 让差距变小。少见的词被挑中得更多。
选择分数是:垫子 2.0、沙发 1.0、屋顶 0.5、月亮 −1.0。T = 1 时,采样 1000 个词大约得到 600 个垫子。温度会把每个分数除以 T。温度是 0.1 时,采样 1000 个词会得到什么?
现在回到实验台,把温度从 0.1 拖到 3。
现在把它写出来。先把分数除以 T,再做 softmax。
代码写出应用温度的那一行。scores 传进来时是一个 Python 列表,而列表不能除以一个数,所以要先把它变成浮点数组。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
模板在 np.exp 之前先减去最大的分数,这样 exp 永远不会上溢;softmax 的结果不变。
可选的支线:支线 U2 通过看浮点数是怎样存储的,讲清楚为什么这很重要。
深入一点 贪心解码,以及为什么聊天模型不用贪心
当 T→0 时,最大的分数得到概率 1。总是挑最高的那个词,叫作贪心解码(greedy decoding)。
它的结果是可预测的,但容易重复自己,因为同样的上下文总是引出同样的词。
用大约 0.7–1 的 T 采样,能保留一些多样性。一个常用的额外技巧是 top-k:只保留
最高的 k 个分数,把其余的设为 −∞(于是 e−∞=0),然后采样。那些少见的、没意义的词
永远不会被挑中,但在好的词之间仍然有一些选择。
在第 17 关,你会一步一步地运行一个真正的模型,看到它写出的每个词的这些分数。
4. 给一次猜测打分:交叉熵
训练时,我们知道正确的下一个词。我们需要一个数,说明模型错得有多厉害。
看模型给正确的词的概率,对它取 −ln。
loss=−lnpcorrect这就是你在第 3 关见过的损失,那里只有两个答案(是或否)。那时答案是“是”就取 −lnp,
答案是“否”就取 −ln(1−p);两者都是“正确答案得到的概率的 −ln”。
现在答案可以有任意多个,它们的概率由 softmax 给出。
在这门课里,log 永远指自然对数 ln(底数 e≈2.718),从来不是以 10 为底。代码里的 np.log 也是 ln。
下面是几个 p 值对应的 −lnp:
| p | 1 | 0.5 | 0.25 | 0.1 | 0.01 |
|---|
| −lnp | 0 | 0.69 | 1.39 | 2.30 | 4.61 |
两条规则让这些很好算。−ln(1/x)=lnx:比如 −ln0.1=−ln(1/10)=ln10≈2.30。
还有,p 越小,损失总是越大。如果你对 ln 还不熟,或者忘了,数学页 有这些规则和例子。
用圆形按钮选出正确的词,然后拖动分数。
交叉熵:对正确答案的惊讶度
用圆形按钮选出正确答案。拖动滑块改变分数。
正确答案: 猫 · p = 0.659 · 损失 = −log(0.659) = ?
正确答案的 p 其他答案的 p 损失 = −log p 你现在的位置
我卡在这里了 为什么要取 log?为什么不直接用 1 − p?
看这条曲线。用 1−p 的话,一个给正确词 p=0.01 的模型损失是 0.99,
一个给它 p=0.0001 的模型损失也大约是 0.99。它们看起来一样差。
用 −lnp,第一个得 4.6,第二个得 9.2。模型给正确词的概率越接近 0,
损失就越大,没有上限。所以训练会强力推动模型,给每个可能正确的词
至少一点概率。
还有第二个原因。一整句话的概率,是它每个词的概率的乘积。
乘积的 log 是各个 log 的和。所以总损失就是每个词的损失
加起来。
写出一个样本的损失:对分数做 softmax,挑出正确的那个,取 −ln。
代码返回交叉熵损失:对分数做 softmax,取出正确的那个,再取 −log。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
我卡在这里了 在 PyTorch 里,我应该在 F.cross_entropy 之前先做 softmax 吗?
不要。F.cross_entropy(logits, target) 一步就做完 softmax 和 −ln,所以你要给它原始分数。
如果你先做了 softmax,它就被做了两次。
选择分数 [2, 0]。softmax 给出 [0.88, 0.12]。如果你把这些概率当作分数传给 F.cross_entropy,它会再做一次 softmax。训练会怎样?
5. 往哪边推:梯度
训练需要知道怎样改变每个分数才能降低损失。对于 softmax 后接交叉熵,
答案短到可以记住:
∂si∂L=pi−yi这里 y 是独热(one-hot)目标:正确的词是 1,其他词是 0。取三个词猫、狗、车,
概率是 p=[0.7,0.2,0.1],假设正确答案是狗,所以 y=[0,1,0]:
| 猫 | 狗(正确) | 车 |
|---|
| p | 0.7 | 0.2 | 0.1 |
| y | 0 | 1 | 0 |
| p−y | 0.7 | ? | 0.1 |
只有正确的词那一项是负的:它是唯一应该升高的分数。
选择梯度下降让每个分数逆着它的梯度移动:s ← s − lr × (p − y)。猫、狗、车的 p − y = [0.7, −0.8, 0.1],哪个分数会升高?
深入一点 p − y 是从哪里来的
对正确的词 c,损失是 L=−lnpc,而 pc=esc/∑jesj。对这个分数取 ln:
L=−sc+lnj∑esj现在把某一个分数 si 改动一点点。第一项只和 sc 有关:i=c 时它给出 −1,否则给出 0,
也就是 −yi。第二项的变化是 esi/∑jesj,正好是 pi。加起来:pi−yi。
只有两个答案时,这就是第 6 关里是 / 否神经元(sigmoid + 它的交叉熵)用的 p−y。同一条规则,答案更多而已。
用一行写出来:把正确的词的概率减去 1。
代码返回损失对分数的梯度:p 减去独热目标。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
6. 模型有多惊讶?困惑度
交叉熵给一次猜测打分。要在一整段文本上评价一个模型,就取每个词损失的平均。
每个 −lnp 是模型对实际出现的那个词的惊讶度(surprise),所以平均值就是它的
平均惊讶度。
这个数很难想象。所以我们用 ex 把它变回来,ex 正好抵消 ln:
perplexity=eaverage of (−lnp)困惑度(perplexity)读起来像一个个数:模型拿不准的程度,就像在这么多个词里平均地挑一个。
现在拖动这些条。每一条是模型有多相信那个词。实验台显示的是:如果这些词真的按这些概率出现,
你会得到的困惑度,也就是“就像在这么多个词里平均地挑一个那样拿不准”。
熵 = Σ p · (−ln p) = 1.386 奈特 · 困惑度 = e1.386 = 4.00 :就像在 4.00 个词里平均地挑一个那样拿不准
每个词的 p 一个同样可能的词;填满的部分就是困惑度
深入一点 熵:实验台上的另一个数
实验台把四个词的惊讶度做了平均,按每个词的可能性加权。这个加权平均就是
熵(entropy):模型在看到答案之前有多不确定。实验台里的困惑度是 eentropy。
在真实的文本上,这两者可能不同。困惑度用的是对实际出现的词的惊讶度。熵按
模型自己的概率加权。只有当词真的按模型的概率出现时,两者才相等。
这门课后面用不到熵。
动手试试
按“均匀”,你得到困惑度 4:四个同样可能的词。按“确定”,你得到 1:一点疑问都没有。
现在让两个词相等,其余的为 0。困惑度是 2。这个数就是模型真正在其中挑选的
词的个数。
选择十个词。模型 A 有九次给正确词 p = 0.9,有一次给 p = 0.001。模型 B 每次都给 p = 0.5。哪个的困惑度更低?
我卡在这里了 为什么困惑度像是一个词数?
如果一个模型把它的猜测平均分给 k 个词,那么每个正确的词都得到 p=1/k。惊讶度
每次都是 −ln(1/k)=lnk,所以平均值是 lnk,而 elnk=k。
真实的模型从来不会正好平均。困惑度说的是:哪一种平均分配平均起来一样惊讶。
困惑度 2.3 的意思是“大约像在两三个词里挑一个那样拿不准”。
下面是一个模型在读句子“那只猫坐在垫子上”。每读一个词,它就猜下一个词。
| 下一个词 | 猫 | 坐 | 在 | 垫子 | 上 |
|---|
| 模型给它的 p | 0.5 | 0.25 | 0.125 | 0.25 | 0.25 |
| 惊讶度 −lnp | 0.693 | 1.386 | 2.079 | 1.386 | 1.386 |
对任意一列概率把它写出来。
代码返回一列概率(模型给每个正确词的 p)的困惑度。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
深入一点 奈特、比特,以及为什么困惑度不在乎
用自然对数时,惊讶度的单位是奈特(nat)。用 log2 时,单位是比特(bit):1 比特的惊讶度
意思是“和抛一次硬币一样意外”。两种都可以,只要你用相同的底数把 log 抵消掉:
奈特用 ex,比特用 2x。两种算法得到的困惑度一样。
困惑度也是 1/p 的几何平均。对上面那个句子:1/p 的值是 2、4、8、4、4,
它们的乘积是 1024 = 4⁵,而 1024 的五次方根是 4。
在第 11 关比较语言模型时,你用的就是这个数。越低越好。
7. 合在一起
这一关的核心,写成一个函数:带着温度、安全地把分数变成概率,再给正确的词打分。
“安全”指的是第 3 节 probs 代码里的那个技巧:在 np.exp 之前减去最大的分数,
这样像 1000 这样的分数就不会上溢。训练从来不一次只给一个样本打分。它拿一个批(batch),有 B 个
样本,每个样本有自己的一行分数和自己的正确词。这一批的损失是
B 个损失的均值。写出整个函数;对各行用 for 循环就可以。
要同时遍历两个列表,Python 有 zip:list(zip([1, 2], "ab")) 是 [(1, 'a'), (2, 'b')]。
所以 for scores, c in zip(rows, correct): 会把每一行和它的正确词一起交给你。
代码为一个批写出 mean_loss:对每一行分数,除以 T,做安全的 softmax(在 np.exp 之前减去最大值),再对这一行正确词的概率取 −ln。返回这些损失在各行上的均值。需要写好几行。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
可选的支线:经典网络分支从这里开始。它搭建卷积、循环网络、LSTM
和最早的注意力(支线 N1 到 N6)。第 11 关 继续主线:这一页剩下的部分(第 8 节)是可选的。
8. 可选:高斯噪声(为扩散模型分支准备)
主线用不到这一节:第 11 关不用它,不做它这一关也算通关。
扩散模型分支(支线 D1)会用到它,所以去那里之前要读一读。
采样一个词,是从一个短列表里挑。有时我们需要的是随机的数,比如给一个点加上一点
噪声。通常的选择是高斯(正态)分布。
先说一个你需要的词:标准差(standard deviation,std)说明这些数通常离它们的均值有多远。
[1, −1, 1, −1] 的均值是 0,标准差是 1。[10, −10, 10, −10] 的均值是 0,标准差是 10。(准确地说:方差是
到均值的距离的平方的平均值,标准差是它的平方根。第 7 关已经用标准差来设初始权重了。)
要生成一个带噪声的数:
x=mean+std×z
这里 z 来自标准正态分布:均值 0,标准差 1。大多数 z 值在 −1 和 1 之间,
超过 ±3 的很少见。这门课的扩散模型分支完全建立在这一行上。
300 个样本 (x, y)。圆圈离均值一个标准差。 同样的点,只按 x 来数。曲线是这个均值和标准差下高斯分布的钟形。 高亮的点: z = (0.97, 0.02) → x = 0.0 + 1.0 × 0.97 = 0.97 · 在 300 个点上量出:x 的均值 = 0.06,x 的标准差 = 1.01,离均值不超过一个标准差(按 x)的:66%
高亮的点,就是上面那一行算出来的 其他样本 离均值一个标准差 每个 x 上的点的比例
动手试试
把 std 设为 0。每个点都落在均值上。现在把 std 设为 2。点云更宽了,但离均值不超过一个标准差的点
所占的比例仍然在 68% 左右。高亮的点一直保留同一个 z,所以它沿着同一个方向
往外滑。
深入一点 为什么高斯分布到处都是
把许多小的、相互独立的随机影响加起来,总和就接近高斯分布,不管那些小影响
本来是什么样子。这就是为什么测量误差、身高、网络的初始权重
都用它来建模。
在 NumPy 里,rng.standard_normal((n, d))(或者 np.random.randn(n, d))给出一个 (n, d) 的数组,里面是标准
正态分布的 z 值:你传进去什么形状,就得到什么形状。乘上 std 再加上均值,就能得到你想要的任何
高斯分布。