第 U5 关 · 基础 · 深入底层 · 在浏览器里运行 · 最后一部分在你的电脑上
English

调试模型

代码能跑,但模型学不会。怎样找到 bug?

支线 · 最好在之后学: 第 9 · 从 NumPy 到 PyTorch 关

Boss 关

修好三个坏掉的训练脚本:两个小的 NumPy 脚本在浏览器里评分;另一个 PyTorch 脚本有四个 bug,只有四个 bug 全部修好、模型在留出集上至少答对 95% 的点,check.py 才会通过。

模型代码里的大多数 bug 不会让程序崩溃。脚本照常运行,损失照常打印,只是模型学得很差,或者学错了东西。 这一关是应对这种情况的一张检查清单。每一步都配一个坏掉的小例子。

  1. 检查形状。
  2. 过拟合一个批。
  3. 用数值斜率检查梯度。
  4. 找到第一个 inf 或 NaN。
  5. **读懂损失曲线:**不下降、来回摆动,或者降得太快。

最后的 Boss 是三个坏掉的脚本。最后一个在你自己的电脑上运行;如果你还没装 Python 和 PyTorch,请看安装页。

所有例子都用第 7 关的四个点:(1, 3)、(2, 3)、(3, 7)、(4, 7),用直线 y^=wx+b\hat y = w x + b 来拟合,从 w = 0.5、b = 0 开始。最好的直线是 w = 1.6、b = 1,损失为 0.8。

1. 检查形状

模型代码常常把预测值做成一列,形状 (4, 1),因为它是 X @ W 的结果。 而目标值常常是一个扁平的列表,形状 (4,)。损失那一行 ((pred - y) ** 2).mean() 运行时不会报错。

形状 pred 的形状是 (4, 1),y 的形状是 (4,)。pred − y 的形状是什么?

所以这个损失把每个预测值和每个目标值都比了一遍,是 16 对,而不是 4 对。模型仍然会把这个损失降下来, 但这个损失问的是一个错误的问题。

数字 在 4 个点上拟合直线,有一个形状 bug:pred − y 的形状是 (4, 4),所以损失把每一个预测值都和每一个目标值 3、3、7、7 比较。模型能做到的最好结果,是在每个地方都预测同一个数:和 3、3、7、7 的均方距离最小的那个数。它是哪个数?

实验台实时训练这条直线,用的是真实训练时的数(32 位浮点数,和 PyTorch 一样)。 勾选形状 bug,然后训练:直线最后变成水平的,损失停在 4,而不是 0.8。

四个点、一条直线和几个 bug

选一个学习率,打开或关掉某个 bug,然后训练。改动任何设置都会从 w = 0.5、b = 0 重新开始。

048x=1x=2x=3x=4
4 个点、你的直线,以及最好的直线(w = 1.6,b = 1)。
0.111e21e41e6训练后这里会画出损失第 0 步第 49 步
每一步之后的损失,对数刻度。虚线:可能的最低损失 0.8。
学习率
第 0 步:w = 0.5,b = 0。按“训练”。
你的直线,你的损失 最好的直线,最低的损失 第一个 inf / NaN

修复只要一行:让两边形状相同,pred[:, 0] - y 或 pred - y.reshape(-1, 1)。 能发现它的习惯是:把损失里每个数组的形状都打印一次,并在旁边写下你期望的形状。

我卡在这里了 为什么 NumPy(或 PyTorch)在这里不报错?

广播是一个特性:X @ W + b 就是靠它把一行偏置加到每一行上的(第 1 关)。 NumPy 无法知道你到底想不想广播。所以形状 bug 不会给出报错信息,只有你自己能发现它们。 在损失函数里写上 assert pred.shape == y.shape,就能把这个 bug 变成一个看得见的报错。

2. 过拟合一个批

在全部数据上训练之前,先在一个小批上训练很多次,比如 4 个样本。 一个有几百个权重的模型能记住 4 个样本,所以损失应该降到接近它可能的最低值。 (对直线来说,这个最低值是 0.8;对 MLP 来说,接近 0。)

这一次就测试了整个循环:模型、损失、梯度和更新。 只要几秒钟,而且这样一来,问题就不可能出在数据量上。

选择你只用 4 个样本反复训练一个小 MLP。500 步之后,损失仍然是 0.69,和一开始一样。这说明了什么?

3. 检查梯度

第 6 关用数值梯度检查过手写的梯度。ww 处的数值斜率只需要损失本身:

dLdw≈L(w+h)−L(w−h)2h,h small\frac{dL}{dw} \approx \frac{L(w + h) - L(w - h)}{2h}, \quad h \text{ small}
数字 f(w) = w²,w = 3,h = 0.01。f(w + h) = 9.0601,f(w − h) = 8.9401。数值斜率 (f(w + h) − f(w − h)) / (2h) 是多少?

有好几个权重时,每次只动一个权重,其他的保持不动。对 w = 0.5、b = 0 处的直线拟合, 数值梯度是 dw = −21.5,db = −7.5。正确的公式会给出同样的两个数。

选择在 w = 0.5、b = 0 处用 y = w·x + b 拟合 (1, 3)、(2, 3)、(3, 7)、(4, 7)。数值梯度是 dw = −21.5,db = −7.5。某人的公式给出 dw = −10.75,db = −3.75。最可能的 bug 是什么?

现在写出适用于任意个权重的数值梯度。有一个 NumPy 细节:w[i] += h 会原地修改数组 w 的第 i 项, 所以紧接着的 f(w) 看到的是移动后的值。算完之后,要把 w[i] 放回原处: 调用者还需要原来的 w。

代码写出循环体:w 第 i 项的数值斜率。把 w[i] 增加 h,再减少 h,然后放回原处。把 ____ 换成你需要的若干行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

深入一点 多接近才算够接近?

数值斜率不是精确的。在 64 位浮点数里取 h=10−5h = 10^{-5},正确的公式通常能对上 6 位或更多 有效数字。比较的是相对差,∣a−b∣/max⁡(∣a∣,∣b∣)|a - b| / \max(|a|, |b|):大约 10−710^{-7} 没问题,10−210^{-2} 就是 bug。 在 32 位浮点数里,这个检查要粗糙得多,所以梯度检验要用 64 位(torch.float64)来做。 torch.autograd.gradcheck 对任意 PyTorch 函数做的正是这件事。

4. 找到第一个 inf 或 NaN

学习率太大时,每一步都会跳过最低点,落到更远的地方。

数字 f(w) = w²,所以梯度是 2w。从 w = 1 开始,用 lr = 1.5 走梯度下降的步子 w ← w − lr · 2w。3 步之后 w 是多少?

这些数会一直变大,直到浮点数装不下。32 位浮点数最大约为 3.4×10383.4 \times 10^{38};比这更大的都是 inf(无穷大)。在实验台上把学习率设成 0.2,训练 200 步:读数会显示损失 第一次变成 inf 的那一步,以及它变成 NaN(“不是一个数”)的那一步。

选择损失依次是 16、86、466、2550……然后是 inf,再过几十步变成 NaN。如果每个数一开始都正常,NaN 能从哪里来?

另一个常见来源是对数:np.log(0) 是 −inf,所以如果交叉熵对一个被舍入成 0 的概率取对数, 马上就会得到 inf。这就是为什么 PyTorch 的 F.cross_entropy 接收的是 logit,并自己安全地计算对数。 支线 U2 会讲浮点数怎样舍入,以及为什么。

习惯是:每一步都检查 np.isfinite(loss)(或 torch.isfinite),并在第一个坏掉的步停下。等你在打印出来的结果里 注意到 NaN 时,每个权重都已经是 NaN 了,而原因在几百步之前。

动手试试

在实验台上试试学习率 0.001、0.01、0.05 和 0.2,每个训练 200 步。哪个最慢,哪个正好, 哪个发散了?正好和发散之间的分界线大概在哪里?

5. 读懂损失曲线

有些 bug 只会体现在损失曲线的形状上。

它上下摆动,永远稳定不下来。常见原因是梯度从来没有清零。loss.backward() 会把梯度加到 .grad 上(第 9 关),所以没有 opt.zero_grad() 的话,每一步用的都是到目前为止所有梯度的和。

数字 一个循环忘了 opt.zero_grad()。对某一个权重,backward() 在前 3 步每一步都给出梯度 2。第 3 步运行 opt.step() 时,这个权重的 .grad 是多少?

在实验台上,学习率设为 0.01,勾选忘记 zero_grad:损失一步接一步地在大约 1 和 17 之间来回摆动。

它降得比预期快得多,然后模型却毫无用处。通常是输入里已经包含了答案。 一个下一个 token 模型(第 11 关会做一个)读入一串 token(代表单词或字符的数), 在每个位置上猜下一个 token 是什么。<bos> 是一个标记序列开始的 token。 模型必须根据位置 tt 及之前的 token 预测 token t+1t + 1,所以目标值就是输入错开一位: 对 token [<bos>, a, b, c],输入是 [<bos>, a, b],目标值是 [a, b, c]。

选择一个下一个 token 模型在 [<bos>, a, b, c] 上训练。bug 是:目标值就是输入本身 [<bos>, a, b],而不是 [a, b, c]。训练损失几步之内就降到接近 0。它写文本时会怎样?

错误的因果掩码也会造成同样的结果:如果一个词能看到它后面的词(第 15 关),它就能读到答案。 训练损失看起来好极了;生成出来的却是胡言乱语。

**它根本不下降。**从第 1 步开始,再把清单过一遍:形状、一个批、梯度。然后是学习率: 试试小 10 倍和大 10 倍的值。

深入一点 检查清单,按使用顺序排列
  1. 打印损失里所有东西的形状。在每个旁边写下你期望的形状。
  2. 亲眼看一个批:输入、目标值、掩码。目标值错开了吗?每个标签都属于它的输入吗?
  3. 检查第 0 步的损失。对 VV 个类别和随机权重,它应该约等于 ln⁡V\ln V(第 10 关),比如 2 个类别时是 0.69。
  4. 过拟合一个批。
  5. 如果你手写了梯度,用数值方法检查它们。
  6. 盯住第一个 inf 或 NaN。
  7. 这之后才开始调参:学习率、批大小、模型大小。

Boss:三个坏掉的脚本

每个脚本运行时都不报错。每个都学错了东西。用上这张检查清单。

**A 部分。**一个有三个 bug 的直线拟合。为 train_line 写出能正常工作的函数体。

代码Boss,A 部分。注释里队友的版本有三个 bug。在 ____ 处为 train_line 写出能正常工作的函数体。行数不限。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

**B 部分。**一个用于下一个 token 训练的批,有两个 bug。用上支线 U4 的整理函数和 第 5 节的错位。keep 是那些计入损失的目标值的掩码:真正的 token 为 True,PAD 为 False。 (它和填充掩码正好相反:这里的 True 表示“计入”。)

代码Boss,B 部分。lm_batch 构造一个下一个 token 的批:输入 X、目标值 Y,以及 keep(损失应该计入的地方为 True)。注释里队友的版本有两个 bug。在 ____ 处写出能正常工作的函数体。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

**C 部分,在你的电脑上。**一个 PyTorch 脚本,本该学会哪些点在圆内。它有四个 bug, split、batches、MLP.forward 和 train_step 里各一个。其他部分都是对的。

  1. 把 broken_train.py 和 check.py 下载到同一个文件夹里。
  2. 把 broken_train.py 复制成 my_train.py。先运行一次 python my_train.py,看看损失和准确率。
  3. 一次修一个 bug。每修一个,就运行 python check.py my_train.py。它会做五项检查。没通过的检查 只说明它测量了什么,不说 bug 在哪里:找出原因是你的事。
  4. 五项全部通过后,把它打印的最后一行(U5 PASS …)粘贴到这里。卡在某项检查上了?就粘贴 U5 FAIL … 那一行: 页面会针对第一项没通过的检查给出提示,每试一次多给一点。

行末的代码只能说明你原样粘贴了它;这一部分靠的是你的诚实。

我卡在这里了 有一项检查没通过,我不知道从哪里下手。

读一读这项检查打印的数,然后按顺序对照上面的清单,一次查一项。对每个函数,打印它 对几个点返回了什么,并和它的文档字符串比较。每项检查对应一个函数:split、batches、forward、 train_step。

上面的 A、B 两部分和这一行都通过后,这一关就算通关。

代码Boss,C 部分。把 python check.py my_train.py 打印的最后一行粘贴到引号之间。如果还有检查没通过,可以粘贴它的 FAIL 那一行,获得关于第一项没通过的检查的提示。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 在形状 bug 毁掉损失之前,通过打印形状,找出这种不报错的 bug。
  • 用数值斜率检查梯度公式,并通过过拟合一个批来测试整个循环。
  • 读懂损失曲线:发散、NaN、卡住不动、来回摆动,或者降得快得可疑。

要记住

  • 一列 (n, 1) 减去一个扁平的 (n,),得到一个 (n, n) 的方阵:不报错,但损失是错的
  • 数值斜率
  • inf − inf = NaN,0 × inf = NaN,NaN 会传染给它碰到的一切
  • 下一个 token 的目标值就是输入错开一位:输入去掉最后一列,目标值去掉第一列

常见错误

  • 还没确认模型能记住一个批,就去改学习率或模型大小。
  • 相信一个降得飞快的损失:输入里可能已经包含了答案。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星