第 8 关 · 基础 · 在浏览器里运行
English

泛化

怎样训练出一个在没见过的数据上也管用的网络?

第 7 关让训练变得又快又稳。但训练损失低仍然不是目标:模型必须在 从没见过的数据上也管用。这叫作泛化(generalization)。这一关增加两个习惯:

  1. 留出集:在模型从没训练过的数据上检查它。
  2. 正则化:不让模型记住噪声。

1. 过拟合

一个模型可能在训练数据上表现很好,在其他所有数据上都表现很差。这里有 10 个来自曲线 y = sin(πx)(一条平滑的波;见数学页)的带噪声的点,还有 40 个来自同一条曲线、模型从不用来训练的点:这就是留出集(held-out set)。

模型是一个多项式,c0+c1x+c2x2+⋯+cdxdc_0 + c_1 x + c_2 x^2 + \dots + c_d x^d:x 的各次幂之和,每一项乘一个数(系数)。它的次数 dd 是最高的幂。每个系数是一个参数。

数字 一个 9 次多项式 c0 + c1·x + c2·x² + … + c9·x⁹ 有多少个参数?
先猜一猜你用 0 阶、1 阶、2 阶……一直到 9 阶去拟合这 10 个点。训练损失一直在降。40 个留出点上的损失会怎样?

拖动阶数。每条曲线都是在训练点上平方误差最小的那一条,是直接算出来的, 而不是用梯度下降,所以你看到的是每个阶数能做到的最好结果。

参数太少、正好、太多

拖动阶数。看训练损失和留出集损失。

−101x10⁻⁴10⁻²1损失0123456789阶数
3 阶:训练损失 0.0382 · 留出集损失 0.1579
10 个训练点 40 个留出点 拟合结果 真实曲线 sin(πx) 训练损失 留出集损失 最低的留出集损失(3 阶)

3 阶的训练损失是 0.0382,留出集损失是 0.1579。9 阶穿过了每一个训练点(训练损失 0.0000), 在点与点之间却剧烈摆动:留出集损失 0.8275。模型学到的是噪声,而不是那条曲线。这就是过拟合(overfitting)。

一个模型能画出多复杂的曲线,叫作它的容量(capacity)。参数越多,容量越大。 容量太小,会错过规律(0 阶或 1 阶)。容量太大,而只有 10 个点,就会拟合噪声(9 阶)。

训练过程中,随着时间推移也会发生同样的事。这是一个有 32 个隐藏单元(97 个参数)的网络,在同样的 10 个点上训练:

训练太久,留出集损失又会上升

按“训练”,看两条损失曲线。圆圈标出早停会停在哪里。

10.10.010.0010100020003000步损失按“训练”播放这次训练
每个训练步的损失,对数刻度。
数据,以及网络在第 0 步的曲线。
一个有 32 个隐藏单元的网络,有 97 个参数,却只有 10 个点。按“训练”。
训练损失 留出集损失 目前最低的留出集损失 10 个训练点 留出点 网络现在的曲线 在它最好的那一步 真实曲线

训练损失一直在降。留出集损失先降,到达最低点,然后又慢慢上升。早停(early stopping)保留的是 留出集损失最低的那一步的权重。

我卡在这里了 我的训练损失一直在降,但留出集损失上升了。训练坏了吗?

没有。训练做的正是你要求的事:降低训练点上的损失。过了某个点之后,唯一还能降低它的办法, 就是弯向每个点的噪声。这会让曲线在其他所有地方都变差。

单看训练损失,看不出这件事正在发生。这正是要保留一个留出集的全部原因。

我卡在这里了 如果我看着留出集损失来选停止的那一步,留出集不就成了训练的一部分了吗?

是的,有一点。你看着它做的每一个决定(什么时候停、选哪个阶数、正则化多强),都会让结果稍微贴合它一点。 所以在实践中,会有两个不参与训练的集合:一个验证集(validation set),用来做这些决定; 还有一个测试集(test set),只在最后看一次,用来报告模型有多好。

唯一没有例外的规则是:模型的权重永远不在这两个集合上训练。

2. 正则化

除了早点停下,你还可以让记忆变得更难。

权重衰减(weight decay)给损失加上一个针对大权重的惩罚项:loss+λw2\text{loss} + \lambda w^2,其中 λ\lambda(“lambda”)是一个小数,比如 0.1,决定惩罚有多强。它的梯度 2λw2 \lambda w 在每一步都把每个权重往 0 拉一点。

数字 权重衰减给损失加上一个惩罚项:总损失 = 数据损失 + 0.1·w²。现在数据对 w 的梯度是 0,w = 2,lr = 0.5。走一步梯度下降之后,w 是多少?

写成代码,一步就是把惩罚项的梯度加到数据的梯度上,然后像平常一样往下坡走一步。同样的两行代码 对一个权重和一整个权重数组都适用。

代码写出带权重衰减的一步梯度下降:把惩罚项的梯度 2·lam·w 加到数据的梯度 g_data 上,然后用 lr 往下坡走一步。它必须对一个权重和一个权重数组都适用。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

深入一点 Adam 的权重衰减:AdamW

对普通的 SGD 来说,把 λw² 加到损失上,和每一步把每个权重缩小一点,是同一回事。 对 Adam 来说却不是:惩罚项的梯度和其他梯度一样,要除以 v^\sqrt{\hat v},所以 梯度大的权重几乎没有被衰减。AdamW 的修正办法是不经过损失,而在每个 Adam 步之后 直接缩小权重:w←w−lr⋅λ ww \leftarrow w - \text{lr}\cdot\lambda\, w。大多数语言模型都用 AdamW 训练。

这又是那个 9 阶多项式,现在对 c1 … c9 加上了权重衰减。把它从 0 往上调。

权重衰减让 9 阶拟合变得平滑

调大权重衰减,看上下摆动和留出集损失怎样变化。

−101x10⁻⁴10⁻²1损失0123456789阶数
9 阶:训练损失 0.0000 · 留出集损失 0.8275
10 个训练点 40 个留出点 拟合结果 真实曲线 sin(πx) 训练损失 留出集损失 最低的留出集损失(3 阶)

极小的衰减 0.0001,就把留出集损失从 0.8275 降到 0.1727:剧烈的摆动消失了。 太大,比如 0.1,曲线就太平了,跟不上数据:训练 0.1380,留出集 0.3005。

Dropout 的做法不同。训练时,每个隐藏单元都以概率 p 被随机设为 0。 网络不能依赖任何单个单元,所以它必须把学到的东西存放在许多单元里。为了让总量保持一样大, 保留下来的单元要除以 1 − p。测试时什么都不丢弃。 丢弃一些单元、并把保留的单元除以 1 − p,这叫作 inverted dropout;这是 dropout 通常的写法。

数字 隐藏单元 h = [2, 4, 6, 8],dropout p = 0.5,保留掩码 [1, 0, 1, 0]。保留下来的单元要除以 1 − p。第三个单元 6 会变成多少?

再训练一次这个 32 个单元的网络,这次在它的隐藏单元上使用 dropout,p = 0.3:

同样的训练,加上 dropout

先不加 dropout 训练一次,然后勾选 dropout 再训练一次。

10.10.010.0010100020003000步损失按“训练”播放这次训练
每个训练步的损失,对数刻度。
数据,以及网络在第 0 步的曲线。
一个有 32 个隐藏单元的网络,有 97 个参数,却只有 10 个点。按“训练”。
训练损失 留出集损失 目前最低的留出集损失 10 个训练点 留出点 网络现在的曲线 在它最好的那一步 真实曲线
动手试试

不加 dropout 训练一次,加上 dropout 再训练一次。比较第 3000 步的留出集损失,以及它在最低点之后 又爬升了多少。然后回到多项式,找出让留出集损失最低的权重衰减。

你在第 21 关写的 GPT 用了第一个习惯:它的 10,000 道题里有 1,500 道不参与训练:500 道用于验证(挑出最好的那一轮),1,000 道用于最后的测试。 更大的模型还会用 dropout 和权重衰减。

最后,自己写一个完整的 dropout 层。随机的部分已经替你做好了:u 为每个单元存了一个 0 到 1 之间的 随机数,当一个单元的数小于 p 时,它就被丢弃,而这发生的概率正好是 p。 对数组做比较,会给每个数一个 True 或 False:np.array([0.9, 0.1]) >= 0.5 是 [True, False]。 做乘法时,NumPy 把 True 当作 1,把 False 当作 0。 这一层还需要知道自己是不是在训练:测试时,它必须原样返回 h。

代码写一个 inverted dropout 层。train 为 False 时,原样返回 h。train 为 True 时,丢弃随机数 u 小于 p 的每个单元,并把保留的单元除以 1 − p。需要写好几行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 识别过拟合:训练损失一直在降,而留出集损失在上升。
  • 手算并用代码写出带权重衰减的一步梯度下降。
  • 给定保留掩码,对一层应用 inverted dropout。

要记住

  • 次多项式有 个参数
  • 权重衰减:,所以每个权重都多出一个梯度
  • 训练时的 dropout:h * keep / (1 - p);测试时什么都不丢弃
  • 早停保留的是留出集损失最低的那一步的权重

常见错误

  • 把训练损失低当成模型好:只有留出集损失才能说明模型在新数据上表现如何。
  • 忘了惩罚项梯度 里的 2,或者把 / (1 - p) 写成 / 1 - p。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星