每个 (w, b) 处的高度是 ln(1 + loss):越低越好。大的损失被压小了很多,这样谷底还看得清。
x
y
w·x + b
误差
误差²
2·error·x
2·error
1
2
0.5
-1.5
?
?
?
2
4
1
-3
?
?
?
3
6
1.5
-4.5
?
?
?
平均
loss = ?
grad_w = ?
grad_b = ?
在下面亲手算出一步之后,这些按钮才会解锁。
你:当前的 (w, b)损失最低处,w = 2,b = 0走过的路径一个误差(预测值 − y)
数字 从 w = 0.5,b = 0 出发。预测值是 0.5、1、1.5,目标值是 2、4、6。均方误差损失是多少?
2. 哪边是下坡?
损失是 (w, b) 上的一个曲面:实验台右边的面板画的就是它。在 3D 视图里,高度不是损失本身,而是由损失算出的一个更小的数:损失越大,位置仍然越高,但大的值被压小了很多,这样低处还能看得清。(如果你好奇:高度是 ln(1+loss),ln 的介绍在数学页。)
想让损失变小,你得知道:把 w 调大一点,损失是变大还是变小?变得有多快?
这个变化率就是梯度(gradient)。说白了:w 每挪一小步,L 变多少。
它写作 ∂L/∂w,读作“L 对 w 的偏导数”。
“偏”的意思是只让 w 动,其他都不变。∂L/∂b 也一样,只是换成只让 b 动。
对只有一个输入的函数,斜率有个简短的写法:f′(x),读作“f 撇 x”。它是 f 在 x 处的斜率。
(第一次接触导数?数学页用数字演示了一个例子。)对这个损失,两个梯度是:
∂w∂L=mean(2⋅error⋅x)∂b∂L=mean(2⋅error)
在纸上算一算。你答完之后,实验台下面的表格会列出每一项,方便你核对。
数字 用直线 ŷ = w·x + b 拟合点 (1, 2)、(2, 4)、(3, 6),损失是 L = mean((w·x + b − y)²)。在 w = 0.5,b = 0 处,∂L/∂w 是多少?