5. 为什么大模型还是用 16 位训练
一个 16 位的数占的内存是 float32 的一半。一个有 70 亿个权重的模型,用 float32 要占 28 GB,
用 bfloat16 只要 14 GB,显卡要搬的字节也少一半。显卡做 16 位的矩阵乘法还要快好几倍。所以大模型用混合精度(mixed precision):
每种运算都用对它来说安全的格式。
- 大的矩阵乘法用 bfloat16(或 float16)算。它们占了大部分工作量。
- 权重的一份主副本(master copy)保留在 float32 里。更新加在那里,所以给值为 1 的权重加 0.001
不会像第 2 节那样被舍入掉。
- 很多数的求和、softmax 和损失都用 float32 算。
bfloat16 就是为此设计的。它保留了 float32 的表示范围,所以分数和梯度很少上溢或下溢。它的精度较低,
所以由 float32 的主副本和 float32 的求和来保住真正要紧的精度。
深入一点 float16 需要损失缩放
float16 的精度比 bfloat16 高,但表示范围小得多。10−8 这么小的梯度很常见,而 float16
会把它们存成 0。解决办法是损失缩放(loss scaling):在 backward() 之前,把损失乘上一个大数,比如 1024。
这样每个梯度都大了 1024 倍,保持在 float16 的最小数之上(10−8×1024≈10−5 能存下)。
更新之前,再用 float32 把梯度除以 1024。如果有梯度变成了 inf,就跳过这一步,换一个小一点的缩放倍数。
PyTorch 的 torch.amp 会替你做完这一切。用 bfloat16 时,大多数训练根本不需要损失缩放。
6. softmax 先减去最大的分数
这一节不需要先学第 10 关:用到的东西这里都有定义。(第 10 关会正式讲 softmax,
以及为什么要用它。)softmax 把一串分数变成加起来等于 1 的概率。对每个分数求 e 的幂,
再用每个结果除以它们的和:
pi=∑jezjezi模型用它在很多个答案里做选择。这里两个分数就够了。取 z=[1,2]:
e1≈2.72,e2≈7.39,它们的和是 10.11,所以 softmax 给出 [2.72/10.11, 7.39/10.11]=[0.27,0.73]。
现在试试很大的分数。
选择分数 z = [1000, 1001],用 float32,而在 float32 里 e⁸⁹ 就已经是 inf 了。直接用公式 e^z / sum(e^z) 会得到什么?
修复方法只用到一个事实。给每个分数都加上同一个数 c,softmax 不变:
∑jezj+cezi+c=∑jezj⋅ecezi⋅ec=∑jezjezi因子 ec 同时出现在分子和分母里,所以消掉了。取 c=−max(z):减去最大的分数。
这样最大的分数变成 0,它的 e0=1。没有哪个 ez 会上溢,而且和至少是 1,所以
也不可能是 0。
实验台用两种方法计算,每一步都舍入到你选的格式。
| 分数 0 | 分数 1 | 和 |
|---|
| 直接从 ez |
|---|
| z | 1000 | 1001 | |
|---|
| ez | inf | inf | inf |
|---|
| p | nan | nan | |
|---|
| 先减去最大的分数(1001) |
|---|
| z − max | −1 | 0 | |
|---|
| ez − max | 0.368 | 1 | 1.37 |
|---|
| p | ? | ? | |
|---|
直接算: p = [nan, nan] · 先减去最大值: 回答下面的问题才能看到 p
inf, nan 对 float32 来说太大,或者是 inf / inf 的结果 0.73 softmax 应该给出的概率
动手试试
按 [−1000, −999]:现在每个 ez 都下溢成 0,而 0 / 0 是 nan。再切换到 float16,按
[10, 12]:在 float16 里,分数到 11 左右就会上溢。减去最大值能修好所有这些情况。
在 NumPy 里,z.max(axis=-1, keepdims=True) 给出每一行最大的分数,形状是 (B, 1),这样它就能和形状为
(B, V) 的 z 对得上(第 1 关的广播)。
代码写出让 softmax 对很大的分数也安全的那一行:在 exp 之前,减去每一行最大的分数。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行