现在把这个 z 送进 sigmoid(取 )。
神经元恰好在 的地方回答 1,因为 sigmoid(0) = 0.5。所以“1”和“0”之间的分界 就是直线 ,也就是实验台里的虚线。这条线叫作决策边界(decision boundary)。 一个神经元画一条直线。
把陡度调大。颜色变得更分明,但线没有动。现在把数据换成 OR,再按 OR 神经元的预设。 一条线对 OR 也管用。现在按 XOR:两个输入不同时,答案是 1。
模型怎样回答“是”或“否”?答错了又怎样衡量错了多少?
独立做出这 5 道题。 全部答对,这一关就算三星通关。看过答案的不算。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
neuron_loss 的函数体:返回神经元的预测相对于 y 的二元交叉熵。要写好几行。Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
开始前快速复习一下。可选,不会锁住这一关。
在第 2 关,模型用一个数来回答。现在它要回答“是”或“否”。这只需要一个神经元(neuron):
第一部分就是第 2 关的那条线,只是输入从一个变成了两个。接着 sigmoid 把任何数压到 0 到 1 之间, 所以 可以读作“神经元有多确定答案是 1”。如果 ,它就回答 1。 实验台里还有一个陡度 :它算的是 ,所以 越大,从 0 到 1 的切换越陡。 实验台还会显示是/否回答的损失(loss);第 3 节讲它怎么算。 (如果你忘了 和 ,可以看数学页。)
数据是四个点,也就是一个正方形的四个角。先从 AND 开始:只有两个输入都是 1 时,答案才是 1。
在图上拖动或用方向键来平移这条线。滑块可以旋转它、让它更陡。
p = sigmoid(k · (w1·x1 + w2·x2 + b))
| x1, x2 | 目标值 | z = k·(…) | p | 回答 |
|---|---|---|---|---|
| 0, 0 | 0 | ? | ? | 0 ✓ |
| 0, 1 | 0 | ? | ? | 0 ✓ |
| 1, 0 | 0 | ? | ? | 0 ✓ |
| 1, 1 | 1 | ? | ? | 1 ✓ |
现在把这个 z 送进 sigmoid(取 )。
神经元恰好在 的地方回答 1,因为 sigmoid(0) = 0.5。所以“1”和“0”之间的分界 就是直线 ,也就是实验台里的虚线。这条线叫作决策边界(decision boundary)。 一个神经元画一条直线。
把陡度调大。颜色变得更分明,但线没有动。现在把数据换成 OR,再按 OR 神经元的预设。 一条线对 OR 也管用。现在按 XOR:两个输入不同时,答案是 1。
sigmoid 在那条线之后才起作用。它把输出弯一下:很大的负 变成接近 0,很大的 正 变成接近 1。但它从不改变 出现在哪里,而答案正是在那里翻转的。 边界只由 决定,而它是一条直线。
用 OR 数据,只改 ,看那条虚线怎么动。再只改 。哪一个让线平移而不转动, 哪一个让线转动?然后试试在 XOR 上能不能对 4 个里的 3 个以上。
用 NumPy 写出这个神经元。x 可以是一个形状为 (2,) 的点,也可以是四个点组成的 (4, 2) 矩阵。
x @ w 两种都能处理。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
实验台里显示了一个损失。第 2 关用平方误差来衡量错误。对是/否回答,有一个更好的
衡量方法:交叉熵损失(cross-entropy loss)。它用到 ,也就是自然对数(NumPy 里的 np.log)。你只需要知道
的几个值(数学页讲了 ):
| 1 | 0.75 | 0.5 | 0.25 | 0.1 | |
|---|---|---|---|---|---|
| 0 | 0.29 | 0.69 | 1.39 | 2.30 |
越小,代价越大,而 完全没有代价。一次只看一个点:
一个公式就能同时管两种情况,因为 不是 1 就是 0,总会让两项中的一项变成 0:
这个损失也叫二元交叉熵(binary cross-entropy),“二元”是因为只有两种答案。 一个对所有点都回答 的神经元,每个点的代价是 。这就是 抛硬币的代价。在 XOR 上,一个神经元最好也只能做到这样,所以它的损失停在 0.6931。 第 10 关会把这个损失推广到两种以上的答案,并讲清它从哪里来。
一个模型只是有几分把握,但每个点都答对了,它会好多少?
平方误差的代价是 。对目标值 1,最差的回答 也只需付出 1,而且 从 0.01 变到 0.001 时,代价几乎不变。一个很有把握却答错的神经元几乎得不到梯度,所以它几乎不会改变。
交叉熵的代价则是 , 趋向 0 时它会无限增大:, 。很确定却答错,代价很高,所以梯度恰好在模型最需要改变的地方保持很大。 第 6 关会讲第二个原因:sigmoid 和交叉熵放在一起时,损失对 的梯度 就是简单的 。
现在为一整个数组的回答写出损失。np.log 作用于数组的每一个元素,np.mean
求它们的平均值(第 2 关):
p = np.array([0.5, 0.25])
np.log(p) # array([-0.6931, -1.3863])
np.mean(np.log(p)) # -1.0397Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
训练(第 6 关)需要整个数据集的一个数。在每个点上运行神经元,然后一次给所有 回答打分。这把第 2 节和第 3 节合在了一起:
z = X @ w + b 给每个点一个 z,形状是 (4,)。neuron_loss 的函数体:返回神经元的预测相对于 y 的二元交叉熵。要写好几行。Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
一个神经元画一条线,而 XOR 需要不止一条线。第 4 关会把神经元叠起来,并告诉你它们之间必须放上什么, 叠起来的网络才能比单个神经元做得更多。
通关后,这里会显示关键公式和常见错误。
X @ w + b按 ? 查看快捷键