第 3 关 · 基础 · 在浏览器里运行
English

神经元与分类损失

模型怎样回答“是”或“否”?答错了又怎样衡量错了多少?

在第 2 关,模型用一个数来回答。现在它要回答“是”或“否”。这只需要一个神经元(neuron):

z=w1x1+w2x2+bz = w_1 x_1 + w_2 x_2 + b p=sigmoid(z)=11+e−zp = \text{sigmoid}(z) = \frac{1}{1 + e^{-z}}

第一部分就是第 2 关的那条线,只是输入从一个变成了两个。接着 sigmoid 把任何数压到 0 到 1 之间, 所以 pp 可以读作“神经元有多确定答案是 1”。如果 p>0.5p > 0.5,它就回答 1。 实验台里还有一个陡度 kk:它算的是 p=sigmoid(k⋅z)p = \text{sigmoid}(k \cdot z),所以 kk 越大,从 0 到 1 的切换越陡。 实验台还会显示是/否回答的损失(loss);第 3 节讲它怎么算。 (如果你忘了 e≈2.72e \approx 2.72 和 e−ze^{-z},可以看数学页。)

1. 一个神经元画一条线

数据是四个点,也就是一个正方形的四个角。先从 AND 开始:只有两个输入都是 1 时,答案才是 1。

一个神经元,四个点

在图上拖动或用方向键来平移这条线。滑块可以旋转它、让它更陡。

0001x1 →x2 ↑

p = sigmoid(k · (w1·x1 + w2·x2 + b))

x1, x2目标值z = k·(…)p回答
0, 00??0 ✓
0, 10??0 ✓
1, 00??0 ✓
1, 11??1 ✓
数据
答对 4 / 4 · 损失(交叉熵)0.4059
背景:神经元有多确定是 1(颜色越深越确定) 目标值 1 目标值 0 答错的点 p = 0.5,决策线
数字 AND 神经元的 w1 = 1,w2 = 1,b = −1.5,z = w1·x1 + w2·x2 + b。点 (1, 1) 的 z 是多少?

现在把这个 z 送进 sigmoid(取 k=1k = 1)。

数字 一个神经元的 z = 0.5。它的输出是 p = sigmoid(0.5) = 1 / (1 + e^(−0.5))。取 e^(−0.5) ≈ 0.6。p 是多少?(保留三位小数。)

神经元恰好在 z>0z > 0 的地方回答 1,因为 sigmoid(0) = 0.5。所以“1”和“0”之间的分界 就是直线 w1x1+w2x2+b=0w_1 x_1 + w_2 x_2 + b = 0,也就是实验台里的虚线。这条线叫作决策边界(decision boundary)。 一个神经元画一条直线。

把陡度调大。颜色变得更分明,但线没有动。现在把数据换成 OR,再按 OR 神经元的预设。 一条线对 OR 也管用。现在按 XOR:两个输入不同时,答案是 1。

选择XOR 数据:点 (0, 0) 和 (1, 1) 的目标值是 0,(0, 1) 和 (1, 0) 的目标值是 1。一个神经元画一条直线。你能找到 w1、w2、b,让 4 个点全都正确吗?
我卡在这里了 sigmoid 是一条曲线,不是直线。那为什么一个神经元的边界总是直的?

sigmoid 在那条线之后才起作用。它把输出弯一下:很大的负 zz 变成接近 0,很大的 正 zz 变成接近 1。但它从不改变 z=0z = 0 出现在哪里,而答案正是在那里翻转的。 边界只由 w1x1+w2x2+bw_1 x_1 + w_2 x_2 + b 决定,而它是一条直线。

动手试试

用 OR 数据,只改 bb,看那条虚线怎么动。再只改 w1w_1。哪一个让线平移而不转动, 哪一个让线转动?然后试试在 XOR 上能不能对 4 个里的 3 个以上。

2. 写出神经元

用 NumPy 写出这个神经元。x 可以是一个形状为 (2,) 的点,也可以是四个点组成的 (4, 2) 矩阵。 x @ w 两种都能处理。

代码写出一个神经元的 z。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

3. 是/否回答错了多少?

实验台里显示了一个损失。第 2 关用平方误差来衡量错误。对是/否回答,有一个更好的 衡量方法:交叉熵损失(cross-entropy loss)。它用到 ln⁡\ln,也就是自然对数(NumPy 里的 np.log)。你只需要知道 −ln⁡p-\ln p 的几个值(数学页讲了 ln⁡\ln):

pp10.750.50.250.1
−ln⁡p-\ln p00.290.691.392.30

pp 越小,代价越大,而 p=1p = 1 完全没有代价。一次只看一个点:

  • 目标值是 1:代价是 −ln⁡p-\ln p。如果神经元很确定而且答对了(p=1p = 1),代价是 0。 pp 越接近 0,代价越大。
  • 目标值是 0:代价是 −ln⁡(1−p)-\ln(1 - p)。道理一样,只是换成神经元对 0 的把握。

一个公式就能同时管两种情况,因为 yy 不是 1 就是 0,总会让两项中的一项变成 0:

loss=−mean(yln⁡p+(1−y)ln⁡(1−p))\text{loss} = -\text{mean}\big(y \ln p + (1 - y) \ln(1 - p)\big)

这个损失也叫二元交叉熵(binary cross-entropy),“二元”是因为只有两种答案。 一个对所有点都回答 p=0.5p = 0.5 的神经元,每个点的代价是 −ln⁡0.5≈0.69-\ln 0.5 \approx 0.69。这就是 抛硬币的代价。在 XOR 上,一个神经元最好也只能做到这样,所以它的损失停在 0.6931。 第 10 关会把这个损失推广到两种以上的答案,并讲清它从哪里来。

一个模型只是有几分把握,但每个点都答对了,它会好多少?

数字 在 XOR 上,一个神经元对每个点都回答 p = 0.5。假设有一个模型,对目标值为 0 的两个点回答 p = 0.25,对目标值为 1 的两个点回答 p = 0.75。它的损失 −mean(y·ln p + (1 − y)·ln(1 − p)) 是多少?取 ln 0.75 ≈ −0.288,ln 0.25 ≈ −1.386。
深入一点 是/否回答为什么不用平方误差?

平方误差的代价是 (p−y)2(p - y)^2。对目标值 1,最差的回答 p=0p = 0 也只需付出 1,而且 pp 从 0.01 变到 0.001 时,代价几乎不变。一个很有把握却答错的神经元几乎得不到梯度,所以它几乎不会改变。

交叉熵的代价则是 −ln⁡p-\ln p,pp 趋向 0 时它会无限增大:−ln⁡0.1=2.30-\ln 0.1 = 2.30, −ln⁡0.01=4.61-\ln 0.01 = 4.61。很确定却答错,代价很高,所以梯度恰好在模型最需要改变的地方保持很大。 第 6 关会讲第二个原因:sigmoid 和交叉熵放在一起时,损失对 zz 的梯度 就是简单的 p−yp - y。

现在为一整个数组的回答写出损失。np.log 作用于数组的每一个元素,np.mean 求它们的平均值(第 2 关):

p = np.array([0.5, 0.25])
np.log(p)            # array([-0.6931, -1.3863])
np.mean(np.log(p))   # -1.0397
代码写出二元交叉熵损失:对数组 p 和 y 计算 −mean(y·ln p + (1 − y)·ln(1 − p))。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

4. 把神经元和损失放在一起

训练(第 6 关)需要整个数据集的一个数。在每个点上运行神经元,然后一次给所有 回答打分。这把第 2 节和第 3 节合在了一起:

  1. z = X @ w + b 给每个点一个 z,形状是 (4,)。
  2. sigmoid 把每个 z 变成一个 p。
  3. 损失把这四个 p 和四个目标值做比较。
代码写出 neuron_loss 的函数体:返回神经元的预测相对于 y 的二元交叉熵。要写好几行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

一个神经元画一条线,而 XOR 需要不止一条线。第 4 关会把神经元叠起来,并告诉你它们之间必须放上什么, 叠起来的网络才能比单个神经元做得更多。

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 对一个点算出神经元的 和 ,并说出这个点在它那条线的哪一边。
  • 解释为什么一个神经元解决不了 XOR:它的决策边界是一条直线。
  • 算出几个是/否回答的二元交叉熵,手算一遍,再用 NumPy 算一遍。

要记住

  • ,写成代码是 X @ w + b
  • ;在 的地方,神经元回答 1
  • 处处 的代价是 :等于抛硬币

常见错误

  • 对目标值为 0 的点用了 :它的代价是 。
  • 忘了负号,结果损失是负数。
这一关之后可以去的支线可选;下一关用不到它们。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星