接着算输出层,然后看形状。
多层感知机
把一层层神经元叠起来,能多得到什么?
跳过这一关的小测
独立做出这 5 道题。 全部答对,这一关就算三星通关。看过答案的不算。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
热身前面关卡的 2 道题
开始前快速复习一下。可选,不会锁住这一关。
在第 3 关,一个神经元画一条直线。在第 4 关,XOR 需要第二个神经元,并在层与层之间弯一下。 这个小网络有个名字:多层感知机(multilayer perceptron),简称 MLP。它就是一层层神经元,每一层 的输出交给下一层,中间夹着激活函数。
这一关要问:每层更多的神经元(宽度)和更多的层(深度)能带来什么。 先把前向传播写成每个库都用的写法:矩阵。
1. 一个隐藏层,写成矩阵
把输入放进矩阵 ,每个样本一行。一个有 个神经元的隐藏层,就是一次矩阵乘法、 一个偏置和一个激活函数。输出层再来一次:
和第 4 关一样, 就是代码里的矩阵乘法 X @ W1。
的第 列放着神经元 的两个权重,所以 是 (2, n)。 存着隐藏层的值:每个样本一行,
每个隐藏神经元一列。
用 ReLU 作激活函数,手算一个样本:
2. 更难的图案:两条螺旋
XOR 只有四个点。这里有 200 个,分成两条互相缠绕的臂。没有哪条直线能把它们分开, 两条、三条也不行。先别按任何按钮:
下面的实验台一开始是 1 个隐藏层、8 个 tanh 单元。按 训练。平面图 视图用背景颜色显示网络的回答,每条臂一种颜色;切换到 3D, 可以看到同一个回答画成平面上方的高度。
一个网络学习两条螺旋
选好网络的大小,再按“训练”。背景显示网络在每个点上的回答。
现在改变宽度。设成每层 2 个单元,再训练一次。然后试试 32。 只有 2 个单元时,网络只能把平面弯两次,螺旋的大部分它都分错了。 单元足够多时,背景就开始沿着两条臂走了。
我卡在这里了 为什么每次按“新的随机权重”,它找到的答案都不一样?
每次运行都从不同的随机权重出发,而训练只会从起点一路往下坡走。 所以两次运行可能停在不同的山谷里:边界不同,有时一次拟合得很好,另一次卡住了。 这种随机性是正常的。真正训练时,如果需要精确重复一次运行,就会固定随机种子。
我卡在这里了 实验台怎么知道这么多权重各该往哪边调?
它对每个权重算出损失的梯度,然后逆着梯度走一小步,这正是 第 2 关的梯度下降,只是步长的算法更聪明,你会在第 7 关见到。至于怎样给埋在隐藏层里的 权重算出梯度,靠的是链式法则,一层一层地用。那是第 6 关。
3. 它有多大?
两个神经元之间的每条线是一个权重,输入之后的每个神经元都有一个偏置。
现在加一层。
实验台里的参数个数现在解锁了。拿你的答案和它对一对。
下面用 3D 展示同一个想法。它从第 1 节的例子(,ReLU)开始。然后选一个宽度和一个深度, 数一数线:每条线都是一个权重。
每条线是一个权重
选一个宽度和一个深度。按“下一步”,让一个样本穿过网络。
层(3)
看两个隐藏层之间的线:一共有宽度 × 宽度条。宽度 6 的线是宽度 3 的四倍。
正的权重或值负的权重或值 圆盘的填充色就是它的值:颜色越深,离 0 越远。 前向(这一步) 线越粗 = |w| 越大。选一层,查看它的数。
4. 每个隐藏单元在做什么
勾选 显示第一层每个单元的直线。第一层的每个单元都是第 3 关的那种神经元:它画 一条直线,报告一个点在哪一边。它后面的层把这些报告组合起来。 很多条直线,中间再加上弯折,几乎能描出任何形状:在这里,就是一条螺旋。
深入一点 宽一点还是深一点?
原则上,一个很宽的隐藏层可以逼近任何合理的函数:单元加得足够多,它们的 直线就能把平面切成任意多块。但“足够多”可能是个天文数字。
深度能复用已经做过的工作。第二层看到的不是点,而是第一层的回答,所以它可以把 第一层已经找到的碎片组合起来。正因为这样,同样多的参数,分到两三层里, 往往比全放在一层里做得更多。在下面试试。
深度也有代价:梯度要反向穿过每一层,而第 4 关讲过,它每过一层都可能变小。 第 6 关和第 7 关会处理这个问题。
比较 1 层 32 个单元和 3 层各 8 个单元。哪个参数更多?训练 1000 步之后,哪个把螺旋 画得更好?然后切换到 ReLU:边界由直的线段拼成,而不是曲线。为什么?
5. 自己写出来
写出单隐藏层、用 tanh 的 MLP 的隐藏层。一切都是矩阵,所以一行就能处理
一整批样本。在 NumPy 里,tanh 是 np.tanh:np.tanh(np.array([0., 1.])) 得到 [0., 0.76],每个元素一个 tanh。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
现在加深度。第二个隐藏层还是同一行代码,只是输入从 换成了 。
这次用 ReLU:在 NumPy 里是 np.maximum(0, …),和第 4 关一样。这是第 1 节那个网络的
2 → 2 → 2 → 1 版本:
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
小结
通关后的总结
通关后,这里会显示关键公式和常见错误。
你现在会了
- 对一个样本手算 MLP 的前向传播:隐藏层、激活函数、输出。
- 说出一批样本经过每一层后输出的形状。
- 根据各层的大小,数出网络的权重和偏置。
要记住
- ,
(N, d_in) @ (d_in, n)→(N, n):每个样本一行,每个隐藏单元一列- 每层的参数:输入数 × 输出数个权重,加上每个输出一个偏置
- 第一层的每个单元画一条直线;后面的层把这些直线组合起来
常见错误
- 只数了线(权重),忘了每个神经元还有一个偏置。
- 在激活函数之后才加偏置,而不是之前:
act(X @ W1 + b1)。
按 ? 查看快捷键