LLM by Hand

需要的数学,都在这一页

这里是课程用到的全部数学。每个概念配一个带真实数字的小例子。 可以现在通读一遍,也可以等某一关把你带到这里时再看。每一节最后有一个简短的“动手试试”:先在纸上算出答案,再点开核对。

e、exp 和 ln

e≈2.72e \approx 2.72 是一个固定的数,就像 π\pi 一样。exe^x(代码里是 np.exp(x))就是“把 x 个 e 乘在一起”。它对任何 x 都成立,不只是整数,而且结果总是正数。

x−2−100.512
exe^x0.140.3711.652.727.39

“把 x 个 e 乘在一起”只对整数说得通。x = 0、x = 0.5 或 x 是负数时,直接查表:e0=1e^0 = 1,e0.5≈1.65e^{0.5} \approx 1.65。

负的幂表示“几分之一”:e−1=1/e≈0.37e^{-1} = 1/e \approx 0.37。另外 e0=1e^0 = 1。

ln(自然对数,代码里是 np.log)是 exe^x 的逆运算:它回答“e 的几次方等于这个数?”。所以 ln⁡1=0\ln 1 = 0,ln⁡e=1\ln e = 1,ln⁡2≈0.69\ln 2 \approx 0.69,ln⁡10≈2.30\ln 10 \approx 2.30。ln 只接受正数,小于 1 的数取 ln 得到负数。

课程里用到的,有下面四条规则就够了:

ea+b=ea⋅ebln⁡(ab)=ln⁡a+ln⁡bln⁡(1/x)=−ln⁡xln⁡(ex)=xe^{a+b} = e^a \cdot e^b \qquad \ln(ab) = \ln a + \ln b \qquad \ln(1/x) = -\ln x \qquad \ln(e^x) = x
例子−ln⁡0.1=−ln⁡(1/10)=ln⁡10≈2.30-\ln 0.1 = -\ln(1/10) = \ln 10 \approx 2.30。还有 ln⁡(2×5)=ln⁡2+ln⁡5\ln(2 \times 5) = \ln 2 + \ln 5:ln 把乘积变成和。所以许多个词的损失,可以每个词加一个 −ln⁡p-\ln p 累加起来。

第 2 关画 3D 损失曲面时,高度用的是 ln⁡(1+loss)\ln(1 + \text{loss})。加 1 让这个数保持为正,ln 则把大的值大幅压低:ln⁡(1+0)=0\ln(1 + 0) = 0,ln⁡(1+9)≈2.30\ln(1 + 9) \approx 2.30,ln⁡(1+99)≈4.61\ln(1 + 99) \approx 4.61。损失越大,曲面仍然越高。

动手试试:−ln⁡0.25-\ln 0.25 是多少?(用 ln⁡4≈1.39\ln 4 \approx 1.39。)

0.25=1/40.25 = 1/4,所以 −ln⁡0.25=−ln⁡(1/4)=ln⁡4≈1.39-\ln 0.25 = -\ln(1/4) = \ln 4 \approx 1.39。

用在:第 3 关(交叉熵)、第 10 关(softmax、困惑度)、第 11 关。

幂和平方根

x2=x×xx^2 = x \times x,x3=x×x×xx^3 = x \times x \times x。平方永远不是负数:(−3)2=(−3)×(−3)=9(-3)^2 = (-3)\times(-3) = 9。平方根 x\sqrt{x}(np.sqrt)是平方的逆运算:9=3\sqrt{9} = 3。它总是指正的那个根。

在 Python 里,幂写作 **:x ** 2 就是 x2x^2;对 NumPy 数组,a ** 2 把每个元素都平方。不要写 x ^ 2:在 Python 里 ^ 是别的意思,用在浮点数上会报错。

例子0.255=(1/4)5=1/10240.25^5 = (1/4)^5 = 1/1024:把五个 0.25 乘在一起。一个小的数取幂,会很快变小。
动手试试:(-2) ** 2 + 3 ** 2 是多少?它的平方根是多少?

(−2) × (−2) = 4,3 × 3 = 9,所以和是 13,平方根是 √13 ≈ 3.61。

用在:第 2 关(平方误差)、第 6 关(tanh 的斜率)、第 7 关(Adam)。

Σ,求和符号

∑i=0n−1xi\sum_{i=0}^{n-1} x_i 的意思是“对从 0 到 n − 1 的每个 i,把 xix_i 加起来”。字母右下角的小数字是它的位置,和代码里一样从 0 开始数:x0x_0 是第一个 x。(很多数学书从 1 开始数,求出的和是一样的。)

例子x = [2, 5, 1] 时:∑ixi=2+5+1=8\sum_i x_i = 2 + 5 + 1 = 8。在 NumPy 里就是 x.sum()。
动手试试:x = [4, −1, 3] 时,∑ixi2\sum_i x_i^2 是多少?

16 + 1 + 9 = 26。先平方,再相加。

用在:第 1 关(矩阵乘积的每一格都是一个和)、第 10 关(softmax 要除以一个和)。

均值、方差和标准差

均值是总和除以数的个数。方差是各个数到均值的距离的平方的均值。标准差(std)是方差的平方根:它是一个数到均值的典型距离,单位和原来的数相同。

例子x = [1, 3, 5, 7]。均值 = 16 / 4 = 4。到 4 的距离:−3、−1、1、3。平方:9、1、1、9。方差 = 20 / 4 = 5。std = 5≈2.24\sqrt{5} \approx 2.24。
动手试试:[2, 4, 6, 8] 的均值和 std 是多少?

均值 = 20 / 4 = 5。距离:−3、−1、1、3。平方:9、1、1、9。方差 = 20 / 4 = 5,所以 std = √5 ≈ 2.24。(间隔和例子一样,所以 std 也一样。)

用在:第 7 关(初始权重)、第 10 关(高斯噪声)、第 16 关和支线 N2(LayerNorm)、支线 D1。

导数:斜率

函数的导数说的是:输入变化一点点时,输出变化得有多快。它就是函数图像在那一点的斜率。 用两个数就能量出来:把输入改一点点,再用输出的变化除以输入的变化。

例子f(x)=x2f(x) = x^2,x = 3。试试 x = 3.01:f(3.01)=9.0601f(3.01) = 9.0601。输入增加 0.01 时,输出增加了 0.0601,所以斜率大约是 0.0601/0.01≈60.0601 / 0.01 \approx 6。按规则“x2x^2 的斜率是 2x2x”,正好是 2×3=62 \times 3 = 6。

函数有多个输入时,偏导数 ∂L/∂w\partial L / \partial w 是只让 w 变、其他输入都不动时的斜率。所有偏导数合在一起就是梯度。

只有一个输入的函数,导数常写成 f′(x)f'(x),读作“f 撇 x”。对 f(x)=x2f(x) = x^2,f′(x)=2xf'(x) = 2x,所以 f′(3)=6f'(3) = 6。第 4 关里一层的 f′f',就是这一层激活函数的斜率。

动手试试:f(x)=x2f(x) = x^2,x = 5。f(5.01) − f(5) 是多少?斜率是多少?

f(5.01) = 25.1001,所以变化是 0.1001。除以 0.01 大约是 10,按规则算是 2 × 5 = 10。

用在:从第 2 关开始。训练就是“让每个参数朝它斜率的反方向移动”。

链式法则

如果 y 依赖 u,u 又依赖 x,那么 y 对 x 的斜率就是这两个斜率相乘:

dydx=dydu⋅dudx\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}
例子u = 3x,y = u²。在 x = 1 处:u = 3。y 对 u 的斜率是 2u = 6。u 对 x 的斜率是 3。 所以 y 对 x 的斜率是 6 × 3 = 18。验证:y = (3x)² = 9x²,它的斜率 18x 在 x = 1 处是 18。
动手试试:u = 2x,y = u²。在 x = 3 处,y 对 x 的斜率是多少?

u = 6。dy/du = 2u = 12,du/dx = 2,所以 dy/dx = 12 × 2 = 24。验证:y = 4x²,斜率 8x 在 x = 3 处是 24。

用在:第 2 关(梯度公式从哪里来)、第 6 关(反向传播就是一遍又一遍地用这条法则)。

sin、cos 和多项式

sin(np.sin)是一条波:它在 −1 和 1 之间不停地上下起伏。sin⁡0=0\sin 0 = 0,每隔 2π≈6.282\pi \approx 6.28 重复一次。第 8 关用 y=sin⁡(πx)y = \sin(\pi x) 作为要学的一条平滑曲线:x 从 −1 走到 1 时,它先降到 −1,回到 0,升到 1,再回到 0。

x−1−0.500.51
sin⁡(πx)\sin(\pi x)0−1010

cos(np.cos)是同一条波,错开了四分之一圈:cos⁡0=1\cos 0 = 1。sin 和 cos 里的角用弧度表示,不是度。一整圈是 2π≈6.282\pi \approx 6.28 弧度,四分之一圈是 π/2≈1.57\pi/2 \approx 1.57。所以 1 弧度大约是 57°。

例子cos⁡1≈0.54\cos 1 \approx 0.54,sin⁡1≈0.84\sin 1 \approx 0.84。转到四分之一圈时,cos⁡(π/2)=0\cos(\pi/2) = 0,sin⁡(π/2)=1\sin(\pi/2) = 1。
动手试试:cos⁡π\cos \pi 和 sin⁡π\sin \pi 是多少?(π 是半圈。)

转半圈正好指向反方向:cos π = −1,sin π = 0。

多项式是 x 的各次幂之和,每一项乘一个数,这个数叫系数:c0+c1x+c2x2+…c_0 + c_1 x + c_2 x^2 + \dots 它的次数是最高的幂。1 次多项式是一条直线;次数越高,曲线能弯的次数越多。

例子1+2x+3x21 + 2x + 3x^2 的次数是 2,系数是 1、2、3。x = 2 时它等于 1+4+12=171 + 4 + 12 = 17。
动手试试:2−x+x32 - x + x^3 在 x = 2 时是多少?它的次数是多少?

2 − 2 + 8 = 8。最高的幂是 3,所以次数是 3。

用在:第 8 关(用参数太多的模型拟合曲线)、第 16 关(位置编码用到 sin 和 cos)、第 19 关(RoPE 按以弧度计的角度旋转向量)。

很小和很大的数:1e−5 和 10 的幂

计算机把 1×10−5=0.000011 \times 10^{-5} = 0.00001 写成 1e-5,把 3×104=300003 \times 10^{4} = 30000 写成 3e4。“e”后面的数说明小数点要移几位:负号表示向左移(一个很小的数),正号或没有符号表示向右移(一个很大的数)。这个“e”和 e≈2.72e \approx 2.72 没有任何关系。

例子2e-11 = 0.00000000002。1.5e3 = 1500。
动手试试:把 1e-3 和 4e2 写成普通的数。

1e-3 = 0.001(向左移三位)。4e2 = 400(向右移两位)。

10 的幂相乘,指数相加:103×104=10710^3 \times 10^4 = 10^7。相除,指数相减:1014/1010=10410^{14} / 10^{10} = 10^4。前面还带着一个数时,单独去除那个数。

例子1014/(1.4×1010)=104/1.4≈7,14310^{14} / (1.4 \times 10^{10}) = 10^4 / 1.4 \approx 7{,}143。还有 1.4×1010/1012=1.4×10−2=0.0141.4 \times 10^{10} / 10^{12} = 1.4 \times 10^{-2} = 0.014。
动手试试:2.8×1013/10142.8 \times 10^{13} / 10^{14} 是多少?

指数相减:13 − 14 = −1。所以结果是 2.8 × 10⁻¹ = 0.28。

用在:第 6 关(用很小的一步检验梯度)、支线 U2、第 20 关(大模型的显存和速度)。

向量、矩阵和形状

向量是一列数,比如 [2, 0]。矩阵是一张数表;它的形状 (行数, 列数) 说明它有多大。行和列都从 0 开始数。矩阵乘法 A @ B 要求内侧的大小相同:(n,k) @ (k,m)→(n,m)(n, k)\,@\,(k, m) \to (n, m)。公式里两个矩阵并排写、中间什么都没有,比如 XWX W,意思就是同一个乘积 X @ W。这些第 1 关都会从头讲。

例子[1, 2] @ [[3], [4]] = 1×3 + 2×4 = 11。形状:(1, 2) @ (2, 1) → (1, 1)。
动手试试:(4, 3) @ (3, 2) 得到什么形状?(4, 3) @ (2, 3) 呢?

(4, 2):内侧的大小都是 3。第二个会报错:内侧的大小 3 和 2 对不上。

用在:第 1 关,以及之后的每一关。