第 10 关 · 基础 · 在浏览器里运行
English

概率与采样

模型怎样“掷骰子”来挑下一个词?

语言模型从不直接写出一个词。它的最后一步给出每个可能的下一个词一个分数。 分数越高,表示“越可能”。(这些原始分数也叫 logits。后面几关两个说法都会用,指的是同一个东西。) 接着发生两件事:

  1. softmax 把分数变成加起来等于 1 的概率。
  2. 模型随机挑一个词,就像掷一颗不均匀的骰子:概率越高的词,被挑中得越多。

1. 随机挑一个词

这里有四个可能的下一个词。采样几次,看看计数。 温度滑块先停在 1。第 3 节会讲它。

温度改变概率;采样按这些概率挑词

调一调温度,然后采样一些词,把计数和概率比一比。

那只猫坐在 ___ 上

词分数分数 / T概率采样
垫子 2.0 2.00 ? —
沙发 1.0 1.00 ? —
屋顶 0.5 0.50 ? —
月亮 -1.0 -1.00 ? —

回答下面的问题之后,概率才会显示出来。

还没有采样。改变 T 会清空计数。
概率 目前为止采样结果中的比例 最后抽到的词

每个词的概率是它在总数里占的份额:它的 escoree^{\text{score}} 除以四个词的总和。 (第 2 节会解释为什么用 escoree^{\text{score}}。如果你对 ee 还不熟,数学页 有一张简短的表。)

数字 分数是:垫子 2.0、沙发 1.0、屋顶 0.5、月亮 −1.0。四舍五入后,e^score 分别是 7.4、2.7、1.6 和 0.4,加起来是 12.1。“垫子”的概率是多少?(保留 2 位小数)

2. softmax 怎样工作

两步。第一步,对每个分数取 escoree^{\text{score}}。这让每个数都变成正数, 也让大的分数变得大得多。然后把每个数除以总数,让它们加起来等于 1。

pi=esi∑jesjp_i = \frac{e^{s_i}}{\sum_j e^{s_j}}

∑j\sum_j 读作“对每个词 jj 求和”。所以分母是 es0+es1+…e^{s_0} + e^{s_1} + \dots,也就是总数(词从 0 开始数)。

只用两个词试试,分数是 [2, 0]。你需要 e2≈7.39e^2 \approx 7.39 和 e0=1e^0 = 1。

数字 分数 [2, 0],e² ≈ 7.39,e⁰ = 1。第一个词的概率是多少?(保留 2 位小数)
选择分数 [2, 0] 给出概率 0.88 和 0.12。给两个分数都加 10:[12, 10]。概率会怎样?
我卡在这里了 为什么不直接用每个分数除以所有分数的和?

因为分数可以是负数或 0。分数 [2, -2] 加起来是 0,而你不能除以 0。 分数 [1, -3] 会让其中一个词的概率是 −0.5,这说不通。

对每个 xx,exe^x 都是正数,所以对每个分数取 ee 的幂之后,每个数都是合格的权重。 它还只在乎差:es+10=es⋅e10e^{s+10} = e^{s} \cdot e^{10},而 e10e^{10} 同时出现在分子和 分母里,所以被约掉了。这就是为什么给每个分数都加 10 什么也没改变。

3. 温度

在 softmax 之前,模型可以把每个分数都除以一个数 TT,这个数叫温度(temperature)。

  • T<1T < 1 让差距变大。最高的那个词几乎每次都赢。
  • T>1T > 1 让差距变小。少见的词被挑中得更多。
选择分数是:垫子 2.0、沙发 1.0、屋顶 0.5、月亮 −1.0。T = 1 时,采样 1000 个词大约得到 600 个垫子。温度会把每个分数除以 T。温度是 0.1 时,采样 1000 个词会得到什么?

现在回到实验台,把温度从 0.1 拖到 3。

数字 分数 [2, 0],温度 T = 2,e¹ ≈ 2.72。第一个词的概率是多少?(保留 2 位小数)

现在把它写出来。先把分数除以 T,再做 softmax。

代码写出应用温度的那一行。scores 传进来时是一个 Python 列表,而列表不能除以一个数,所以要先把它变成浮点数组。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

模板在 np.exp 之前先减去最大的分数,这样 exp 永远不会上溢;softmax 的结果不变。 可选的支线:支线 U2 通过看浮点数是怎样存储的,讲清楚为什么这很重要。

深入一点 贪心解码,以及为什么聊天模型不用贪心

当 T→0T \to 0 时,最大的分数得到概率 1。总是挑最高的那个词,叫作贪心解码(greedy decoding)。 它的结果是可预测的,但容易重复自己,因为同样的上下文总是引出同样的词。

用大约 0.7–1 的 TT 采样,能保留一些多样性。一个常用的额外技巧是 top-k:只保留 最高的 k 个分数,把其余的设为 −∞-\infty(于是 e−∞=0e^{-\infty} = 0),然后采样。那些少见的、没意义的词 永远不会被挑中,但在好的词之间仍然有一些选择。

在第 17 关,你会一步一步地运行一个真正的模型,看到它写出的每个词的这些分数。

4. 给一次猜测打分:交叉熵

训练时,我们知道正确的下一个词。我们需要一个数,说明模型错得有多厉害。 看模型给正确的词的概率,对它取 −ln⁡-\ln。

loss=−ln⁡pcorrect\text{loss} = -\ln p_{\text{correct}}

这就是你在第 3 关见过的损失,那里只有两个答案(是或否)。那时答案是“是”就取 −ln⁡p-\ln p, 答案是“否”就取 −ln⁡(1−p)-\ln(1 - p);两者都是“正确答案得到的概率的 −ln”。 现在答案可以有任意多个,它们的概率由 softmax 给出。

在这门课里,log 永远指自然对数 ln(底数 e≈2.718e \approx 2.718),从来不是以 10 为底。代码里的 np.log 也是 ln。 下面是几个 pp 值对应的 −ln⁡p-\ln p:

pp10.50.250.10.01
−ln⁡p-\ln p00.691.392.304.61

两条规则让这些很好算。−ln⁡(1/x)=ln⁡x-\ln(1/x) = \ln x:比如 −ln⁡0.1=−ln⁡(1/10)=ln⁡10≈2.30-\ln 0.1 = -\ln(1/10) = \ln 10 \approx 2.30。 还有,pp 越小,损失总是越大。如果你对 ln 还不熟,或者忘了,数学页 有这些规则和例子。

用圆形按钮选出正确的词,然后拖动分数。

交叉熵:对正确答案的惊讶度

用圆形按钮选出正确答案。拖动滑块改变分数。

正确?分数p
2.0 0.659
1.0 0.242
0.1 0.099

回答下面两道题之后,损失的数值才会显示出来。

损失00.51正确答案的 p
正确答案: 猫 · p = 0.659 · 损失 = −log(0.659) = ?
正确答案的 p 其他答案的 p 损失 = −log p 你现在的位置
数字 模型给正确的词 p = 0.1。损失 −ln p 是多少?用 ln 10 ≈ 2.30。(保留 2 位小数)
数字 模型给正确的词 p = 0.5。损失是多少?用 ln 2 ≈ 0.69。(保留 2 位小数)
我卡在这里了 为什么要取 log?为什么不直接用 1 − p?

看这条曲线。用 1−p1 - p 的话,一个给正确词 p=0.01p = 0.01 的模型损失是 0.99, 一个给它 p=0.0001p = 0.0001 的模型损失也大约是 0.99。它们看起来一样差。

用 −ln⁡p-\ln p,第一个得 4.6,第二个得 9.2。模型给正确词的概率越接近 0, 损失就越大,没有上限。所以训练会强力推动模型,给每个可能正确的词 至少一点概率。

还有第二个原因。一整句话的概率,是它每个词的概率的乘积。 乘积的 log 是各个 log 的和。所以总损失就是每个词的损失 加起来。

写出一个样本的损失:对分数做 softmax,挑出正确的那个,取 −ln⁡-\ln。

代码返回交叉熵损失:对分数做 softmax,取出正确的那个,再取 −log。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

我卡在这里了 在 PyTorch 里,我应该在 F.cross_entropy 之前先做 softmax 吗?

不要。F.cross_entropy(logits, target) 一步就做完 softmax 和 −ln⁡-\ln,所以你要给它原始分数。 如果你先做了 softmax,它就被做了两次。

选择分数 [2, 0]。softmax 给出 [0.88, 0.12]。如果你把这些概率当作分数传给 F.cross_entropy,它会再做一次 softmax。训练会怎样?

5. 往哪边推:梯度

训练需要知道怎样改变每个分数才能降低损失。对于 softmax 后接交叉熵, 答案短到可以记住:

∂L∂si=pi−yi\frac{\partial L}{\partial s_i} = p_i - y_i

这里 yy 是独热(one-hot)目标:正确的词是 1,其他词是 0。取三个词猫、狗、车, 概率是 p=[0.7,0.2,0.1]p = [0.7, 0.2, 0.1],假设正确答案是狗,所以 y=[0,1,0]y = [0, 1, 0]:

猫狗(正确)车
pp0.70.20.1
yy010
p−yp - y0.7?0.1
数字 猫、狗、车的 p = [0.7, 0.2, 0.1],正确的词是狗,所以 y = [0, 1, 0]。狗的 ∂L/∂s,也就是 p − y,是多少?

只有正确的词那一项是负的:它是唯一应该升高的分数。

选择梯度下降让每个分数逆着它的梯度移动:s ← s − lr × (p − y)。猫、狗、车的 p − y = [0.7, −0.8, 0.1],哪个分数会升高?
深入一点 p − y 是从哪里来的

对正确的词 cc,损失是 L=−ln⁡pcL = -\ln p_c,而 pc=esc/∑jesjp_c = e^{s_c} / \sum_j e^{s_j}。对这个分数取 ln:

L=−sc+ln⁡∑jesjL = -s_c + \ln \sum_j e^{s_j}

现在把某一个分数 sis_i 改动一点点。第一项只和 scs_c 有关:i=ci = c 时它给出 −1-1,否则给出 00, 也就是 −yi-y_i。第二项的变化是 esi/∑jesje^{s_i} / \sum_j e^{s_j},正好是 pip_i。加起来:pi−yip_i - y_i。

只有两个答案时,这就是第 6 关里是 / 否神经元(sigmoid + 它的交叉熵)用的 p−yp - y。同一条规则,答案更多而已。

用一行写出来:把正确的词的概率减去 1。

代码返回损失对分数的梯度:p 减去独热目标。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

6. 模型有多惊讶?困惑度

交叉熵给一次猜测打分。要在一整段文本上评价一个模型,就取每个词损失的平均。 每个 −ln⁡p-\ln p 是模型对实际出现的那个词的惊讶度(surprise),所以平均值就是它的 平均惊讶度。

这个数很难想象。所以我们用 exe^x 把它变回来,exe^x 正好抵消 ln:

perplexity=eaverage of (−ln⁡p)\text{perplexity} = e^{\text{average of } (-\ln p)}

困惑度(perplexity)读起来像一个个数:模型拿不准的程度,就像在这么多个词里平均地挑一个。

数字 一个模型总是把它的猜测平均分给 4 个词,每个 p = 0.25,而正确的词总在它们当中。它的困惑度是多少?

现在拖动这些条。每一条是模型有多相信那个词。实验台显示的是:如果这些词真的按这些概率出现, 你会得到的困惑度,也就是“就像在这么多个词里平均地挑一个那样拿不准”。

熵和困惑度:模型有多拿不准?

拖动滑块,调整模型对每个词有多相信,或者按一个预设。

词相信程度(拖动)p−ln p
垫子 0.250 1.386
沙发 0.250 1.386
屋顶 0.250 1.386
月亮 0.250 1.386
困惑度 4.00
熵 = Σ p · (−ln p) = 1.386 奈特 · 困惑度 = e1.386 = 4.00 :就像在 4.00 个词里平均地挑一个那样拿不准
每个词的 p 一个同样可能的词;填满的部分就是困惑度
深入一点 熵:实验台上的另一个数

实验台把四个词的惊讶度做了平均,按每个词的可能性加权。这个加权平均就是 熵(entropy):模型在看到答案之前有多不确定。实验台里的困惑度是 eentropye^{\text{entropy}}。

在真实的文本上,这两者可能不同。困惑度用的是对实际出现的词的惊讶度。熵按 模型自己的概率加权。只有当词真的按模型的概率出现时,两者才相等。 这门课后面用不到熵。

动手试试

按“均匀”,你得到困惑度 4:四个同样可能的词。按“确定”,你得到 1:一点疑问都没有。 现在让两个词相等,其余的为 0。困惑度是 2。这个数就是模型真正在其中挑选的 词的个数。

选择十个词。模型 A 有九次给正确词 p = 0.9,有一次给 p = 0.001。模型 B 每次都给 p = 0.5。哪个的困惑度更低?
我卡在这里了 为什么困惑度像是一个词数?

如果一个模型把它的猜测平均分给 kk 个词,那么每个正确的词都得到 p=1/kp = 1/k。惊讶度 每次都是 −ln⁡(1/k)=ln⁡k-\ln(1/k) = \ln k,所以平均值是 ln⁡k\ln k,而 eln⁡k=ke^{\ln k} = k。

真实的模型从来不会正好平均。困惑度说的是:哪一种平均分配平均起来一样惊讶。 困惑度 2.3 的意思是“大约像在两三个词里挑一个那样拿不准”。

下面是一个模型在读句子“那只猫坐在垫子上”。每读一个词,它就猜下一个词。

下一个词猫坐在垫子上
模型给它的 p0.50.250.1250.250.25
惊讶度 −ln⁡p-\ln p0.6931.3862.0791.3861.386
数字 对“那只猫坐在垫子上”,模型给正确的下一个词的 p 是 0.5、0.25、0.125、0.25、0.25。惊讶度 −ln p 加起来是 6.93,ln 4 ≈ 1.386。它的困惑度是多少?

对任意一列概率把它写出来。

代码返回一列概率(模型给每个正确词的 p)的困惑度。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

深入一点 奈特、比特,以及为什么困惑度不在乎

用自然对数时,惊讶度的单位是奈特(nat)。用 log⁡2\log_2 时,单位是比特(bit):1 比特的惊讶度 意思是“和抛一次硬币一样意外”。两种都可以,只要你用相同的底数把 log 抵消掉: 奈特用 exe^x,比特用 2x2^x。两种算法得到的困惑度一样。

困惑度也是 1/p1/p 的几何平均。对上面那个句子:1/p1/p 的值是 2、4、8、4、4, 它们的乘积是 1024 = 4⁵,而 1024 的五次方根是 4。

在第 11 关比较语言模型时,你用的就是这个数。越低越好。

7. 合在一起

这一关的核心,写成一个函数:带着温度、安全地把分数变成概率,再给正确的词打分。 “安全”指的是第 3 节 probs 代码里的那个技巧:在 np.exp 之前减去最大的分数, 这样像 1000 这样的分数就不会上溢。训练从来不一次只给一个样本打分。它拿一个批(batch),有 B 个 样本,每个样本有自己的一行分数和自己的正确词。这一批的损失是 B 个损失的均值。写出整个函数;对各行用 for 循环就可以。

要同时遍历两个列表,Python 有 zip:list(zip([1, 2], "ab")) 是 [(1, 'a'), (2, 'b')]。 所以 for scores, c in zip(rows, correct): 会把每一行和它的正确词一起交给你。

代码为一个批写出 mean_loss:对每一行分数,除以 T,做安全的 softmax(在 np.exp 之前减去最大值),再对这一行正确词的概率取 −ln。返回这些损失在各行上的均值。需要写好几行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

可选的支线:经典网络分支从这里开始。它搭建卷积、循环网络、LSTM 和最早的注意力(支线 N1 到 N6)。第 11 关 继续主线:这一页剩下的部分(第 8 节)是可选的。

8. 可选:高斯噪声(为扩散模型分支准备)

主线用不到这一节:第 11 关不用它,不做它这一关也算通关。 扩散模型分支(支线 D1)会用到它,所以去那里之前要读一读。

采样一个词,是从一个短列表里挑。有时我们需要的是随机的数,比如给一个点加上一点 噪声。通常的选择是高斯(正态)分布。

先说一个你需要的词:标准差(standard deviation,std)说明这些数通常离它们的均值有多远。 [1, −1, 1, −1] 的均值是 0,标准差是 1。[10, −10, 10, −10] 的均值是 0,标准差是 10。(准确地说:方差是 到均值的距离的平方的平均值,标准差是它的平方根。第 7 关已经用标准差来设初始权重了。)

要生成一个带噪声的数:

x=mean+std×zx = \text{mean} + \text{std} \times z

这里 zz 来自标准正态分布:均值 0,标准差 1。大多数 zz 值在 −1 和 1 之间, 超过 ±3 的很少见。这门课的扩散模型分支完全建立在这一行上。

高斯噪声:x = mean + std × z

移动均值和标准差。每个点都保留自己的 z,所以整团点一起平移、一起伸缩。

−4−2024
300 个样本 (x, y)。圆圈离均值一个标准差。
−4−2024落在每个 x 上的有多少66% 在一个标准差以内
同样的点,只按 x 来数。曲线是这个均值和标准差下高斯分布的钟形。
高亮的点: z = (0.97, 0.02) → x = 0.0 + 1.0 × 0.97 = 0.97 · 在 300 个点上量出:x 的均值 = 0.06,x 的标准差 = 1.01,离均值不超过一个标准差(按 x)的:66%
高亮的点,就是上面那一行算出来的 其他样本 离均值一个标准差 每个 x 上的点的比例
数字 一个带噪声的数是 x = mean + std × z,其中 z 来自标准正态分布。mean = 3,std = 2,z = −1.5。x 是多少?
动手试试

把 std 设为 0。每个点都落在均值上。现在把 std 设为 2。点云更宽了,但离均值不超过一个标准差的点 所占的比例仍然在 68% 左右。高亮的点一直保留同一个 zz,所以它沿着同一个方向 往外滑。

深入一点 为什么高斯分布到处都是

把许多小的、相互独立的随机影响加起来,总和就接近高斯分布,不管那些小影响 本来是什么样子。这就是为什么测量误差、身高、网络的初始权重 都用它来建模。

在 NumPy 里,rng.standard_normal((n, d))(或者 np.random.randn(n, d))给出一个 (n, d) 的数组,里面是标准 正态分布的 zz 值:你传进去什么形状,就得到什么形状。乘上 std 再加上均值,就能得到你想要的任何 高斯分布。

形状 rng.standard_normal((1000, 2)) * 2 + 3 的形状是什么?

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 用 softmax 把分数变成概率,任意温度下都会。
  • 对一个词算出交叉熵损失和它的梯度 。
  • 把困惑度读成“在这么多个词里平均地挑一个”,并能从每个正确词的 p 算出它。

要记住

  • ;有温度时,对 做 softmax
  • ,其中 是独热向量
  • 可选(第 8 节,为扩散模型分支准备):高斯噪声,

常见错误

  • 用一个分数除以所有分数的和:要先对每个分数取 的幂。
  • 在 F.cross_entropy 之前先做 softmax:它要的是原始分数,自己会做 softmax。
这一关之后可以去的支线可选;下一关用不到它们。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星