需要的数学,都在这一页
这里是课程用到的全部数学。每个概念配一个带真实数字的小例子。 可以现在通读一遍,也可以等某一关把你带到这里时再看。每一节最后有一个简短的“动手试试”:先在纸上算出答案,再点开核对。
e、exp 和 ln
e≈2.72 是一个固定的数,就像 π 一样。ex(代码里是 np.exp(x))就是“把 x 个 e 乘在一起”。它对任何 x 都成立,不只是整数,而且结果总是正数。
“把 x 个 e 乘在一起”只对整数说得通。x = 0、x = 0.5 或 x 是负数时,直接查表:e0=1,e0.5≈1.65。
负的幂表示“几分之一”:e−1=1/e≈0.37。另外 e0=1。
ln(自然对数,代码里是 np.log)是 ex 的逆运算:它回答“e 的几次方等于这个数?”。所以 ln1=0,lne=1,ln2≈0.69,ln10≈2.30。ln 只接受正数,小于 1 的数取 ln 得到负数。
课程里用到的,有下面四条规则就够了:
ea+b=ea⋅ebln(ab)=lna+lnbln(1/x)=−lnxln(ex)=x例子−ln0.1=−ln(1/10)=ln10≈2.30。还有 ln(2×5)=ln2+ln5:ln 把乘积变成和。所以许多个词的损失,可以每个词加一个 −lnp 累加起来。 第 2 关画 3D 损失曲面时,高度用的是 ln(1+loss)。加 1 让这个数保持为正,ln 则把大的值大幅压低:ln(1+0)=0,ln(1+9)≈2.30,ln(1+99)≈4.61。损失越大,曲面仍然越高。
动手试试:−ln0.25 是多少?(用 ln4≈1.39。)
0.25=1/4,所以 −ln0.25=−ln(1/4)=ln4≈1.39。
用在:第 3 关(交叉熵)、第 10 关(softmax、困惑度)、第 11 关。
幂和平方根
x2=x×x,x3=x×x×x。平方永远不是负数:(−3)2=(−3)×(−3)=9。平方根 x(np.sqrt)是平方的逆运算:9=3。它总是指正的那个根。
在 Python 里,幂写作 **:x ** 2 就是 x2;对 NumPy 数组,a ** 2 把每个元素都平方。不要写 x ^ 2:在 Python 里 ^ 是别的意思,用在浮点数上会报错。
例子0.255=(1/4)5=1/1024:把五个 0.25 乘在一起。一个小的数取幂,会很快变小。 动手试试:(-2) ** 2 + 3 ** 2 是多少?它的平方根是多少?
(−2) × (−2) = 4,3 × 3 = 9,所以和是 13,平方根是 √13 ≈ 3.61。
用在:第 2 关(平方误差)、第 6 关(tanh 的斜率)、第 7 关(Adam)。
Σ,求和符号
∑i=0n−1xi 的意思是“对从 0 到 n − 1 的每个 i,把 xi 加起来”。字母右下角的小数字是它的位置,和代码里一样从 0 开始数:x0 是第一个 x。(很多数学书从 1 开始数,求出的和是一样的。)
例子x = [2, 5, 1] 时:∑ixi=2+5+1=8。在 NumPy 里就是 x.sum()。 动手试试:x = [4, −1, 3] 时,∑ixi2 是多少?
16 + 1 + 9 = 26。先平方,再相加。
用在:第 1 关(矩阵乘积的每一格都是一个和)、第 10 关(softmax 要除以一个和)。
均值、方差和标准差
均值是总和除以数的个数。方差是各个数到均值的距离的平方的均值。标准差(std)是方差的平方根:它是一个数到均值的典型距离,单位和原来的数相同。
例子x = [1, 3, 5, 7]。均值 = 16 / 4 = 4。到 4 的距离:−3、−1、1、3。平方:9、1、1、9。方差 = 20 / 4 = 5。std = 5≈2.24。 动手试试:[2, 4, 6, 8] 的均值和 std 是多少?
均值 = 20 / 4 = 5。距离:−3、−1、1、3。平方:9、1、1、9。方差 = 20 / 4 = 5,所以 std = √5 ≈ 2.24。(间隔和例子一样,所以 std 也一样。)
用在:第 7 关(初始权重)、第 10 关(高斯噪声)、第 16 关和支线 N2(LayerNorm)、支线 D1。
导数:斜率
函数的导数说的是:输入变化一点点时,输出变化得有多快。它就是函数图像在那一点的斜率。 用两个数就能量出来:把输入改一点点,再用输出的变化除以输入的变化。
例子f(x)=x2,x = 3。试试 x = 3.01:f(3.01)=9.0601。输入增加 0.01 时,输出增加了 0.0601,所以斜率大约是 0.0601/0.01≈6。按规则“x2 的斜率是 2x”,正好是 2×3=6。 函数有多个输入时,偏导数 ∂L/∂w 是只让 w 变、其他输入都不动时的斜率。所有偏导数合在一起就是梯度。
只有一个输入的函数,导数常写成 f′(x),读作“f 撇 x”。对 f(x)=x2,f′(x)=2x,所以 f′(3)=6。第 4 关里一层的 f′,就是这一层激活函数的斜率。
动手试试:f(x)=x2,x = 5。f(5.01) − f(5) 是多少?斜率是多少?
f(5.01) = 25.1001,所以变化是 0.1001。除以 0.01 大约是 10,按规则算是 2 × 5 = 10。
用在:从第 2 关开始。训练就是“让每个参数朝它斜率的反方向移动”。
链式法则
如果 y 依赖 u,u 又依赖 x,那么 y 对 x 的斜率就是这两个斜率相乘:
dxdy=dudy⋅dxdu例子u = 3x,y = u²。在 x = 1 处:u = 3。y 对 u 的斜率是 2u = 6。u 对 x 的斜率是 3。 所以 y 对 x 的斜率是 6 × 3 = 18。验证:y = (3x)² = 9x²,它的斜率 18x 在 x = 1 处是 18。
动手试试:u = 2x,y = u²。在 x = 3 处,y 对 x 的斜率是多少?
u = 6。dy/du = 2u = 12,du/dx = 2,所以 dy/dx = 12 × 2 = 24。验证:y = 4x²,斜率 8x 在 x = 3 处是 24。
用在:第 2 关(梯度公式从哪里来)、第 6 关(反向传播就是一遍又一遍地用这条法则)。
sin、cos 和多项式
sin(np.sin)是一条波:它在 −1 和 1 之间不停地上下起伏。sin0=0,每隔 2π≈6.28 重复一次。第 8 关用 y=sin(πx) 作为要学的一条平滑曲线:x 从 −1 走到 1 时,它先降到 −1,回到 0,升到 1,再回到 0。
cos(np.cos)是同一条波,错开了四分之一圈:cos0=1。sin 和 cos 里的角用弧度表示,不是度。一整圈是 2π≈6.28 弧度,四分之一圈是 π/2≈1.57。所以 1 弧度大约是 57°。
例子cos1≈0.54,sin1≈0.84。转到四分之一圈时,cos(π/2)=0,sin(π/2)=1。 动手试试:cosπ 和 sinπ 是多少?(π 是半圈。)
转半圈正好指向反方向:cos π = −1,sin π = 0。
多项式是 x 的各次幂之和,每一项乘一个数,这个数叫系数:c0+c1x+c2x2+… 它的次数是最高的幂。1 次多项式是一条直线;次数越高,曲线能弯的次数越多。
例子1+2x+3x2 的次数是 2,系数是 1、2、3。x = 2 时它等于 1+4+12=17。 动手试试:2−x+x3 在 x = 2 时是多少?它的次数是多少?
2 − 2 + 8 = 8。最高的幂是 3,所以次数是 3。
用在:第 8 关(用参数太多的模型拟合曲线)、第 16 关(位置编码用到 sin 和 cos)、第 19 关(RoPE 按以弧度计的角度旋转向量)。
很小和很大的数:1e−5 和 10 的幂
计算机把 1×10−5=0.00001 写成 1e-5,把 3×104=30000 写成 3e4。“e”后面的数说明小数点要移几位:负号表示向左移(一个很小的数),正号或没有符号表示向右移(一个很大的数)。这个“e”和 e≈2.72 没有任何关系。
例子2e-11 = 0.00000000002。1.5e3 = 1500。
动手试试:把 1e-3 和 4e2 写成普通的数。
1e-3 = 0.001(向左移三位)。4e2 = 400(向右移两位)。
10 的幂相乘,指数相加:103×104=107。相除,指数相减:1014/1010=104。前面还带着一个数时,单独去除那个数。
例子1014/(1.4×1010)=104/1.4≈7,143。还有 1.4×1010/1012=1.4×10−2=0.014。 动手试试:2.8×1013/1014 是多少?
指数相减:13 − 14 = −1。所以结果是 2.8 × 10⁻¹ = 0.28。
用在:第 6 关(用很小的一步检验梯度)、支线 U2、第 20 关(大模型的显存和速度)。
向量、矩阵和形状
向量是一列数,比如 [2, 0]。矩阵是一张数表;它的形状 (行数, 列数) 说明它有多大。行和列都从 0 开始数。矩阵乘法 A @ B 要求内侧的大小相同:(n,k)@(k,m)→(n,m)。公式里两个矩阵并排写、中间什么都没有,比如 XW,意思就是同一个乘积 X @ W。这些第 1 关都会从头讲。
例子[1, 2] @ [[3], [4]] = 1×3 + 2×4 = 11。形状:(1, 2) @ (2, 1) → (1, 1)。
动手试试:(4, 3) @ (3, 2) 得到什么形状?(4, 3) @ (2, 3) 呢?
(4, 2):内侧的大小都是 3。第二个会报错:内侧的大小 3 和 2 对不上。
用在:第 1 关,以及之后的每一关。