第 5 关 · 基础 · 在浏览器里运行
English

多层感知机

把一层层神经元叠起来,能多得到什么?

在第 3 关,一个神经元画一条直线。在第 4 关,XOR 需要第二个神经元,并在层与层之间弯一下。 这个小网络有个名字:多层感知机(multilayer perceptron),简称 MLP。它就是一层层神经元,每一层 的输出交给下一层,中间夹着激活函数。

这一关要问:每层更多的神经元(宽度)和更多的层(深度)能带来什么。 先把前向传播写成每个库都用的写法:矩阵。

1. 一个隐藏层,写成矩阵

把输入放进矩阵 XX,每个样本一行。一个有 nn 个神经元的隐藏层,就是一次矩阵乘法、 一个偏置和一个激活函数。输出层再来一次:

H=act(XW1+b1)p=σ(HW2+b2)H = \text{act}(X W_1 + b_1) \qquad p = \sigma(H W_2 + b_2)

和第 4 关一样,XW1X W_1 就是代码里的矩阵乘法 X @ W1。 W1W_1 的第 jj 列放着神经元 jj 的两个权重,所以 W1W_1 是 (2, n)。HH 存着隐藏层的值:每个样本一行, 每个隐藏神经元一列。

用 ReLU 作激活函数,手算一个样本:

x=[2,1]W1=[1−101]b1=[0,0]W2=[2−1]b2=0.5x = [2, 1] \quad W_1 = \begin{bmatrix} 1 & -1 \\ 0 & 1 \end{bmatrix} \quad b_1 = [0, 0] \quad W_2 = \begin{bmatrix} 2 \\ -1 \end{bmatrix} \quad b_2 = 0.5
数字 x = [2, 1],W1 = [[1, −1], [0, 1]],b1 = [0, 0],激活函数是 ReLU。隐藏层是 h = ReLU(x @ W1 + b1)。第二个隐藏值 h[1] 是多少?

接着算输出层,然后看形状。

数字 h = [2, 0],W2 = [[2], [−1]],b2 = 0.5。送进输出 sigmoid 的数 z = h @ W2 + b2 是多少?
形状 X 存着 50 个样本,每个 2 个数,形状 (50, 2)。W1 是 (2, 16)。H = tanh(X @ W1 + b1) 是什么形状?

2. 更难的图案:两条螺旋

XOR 只有四个点。这里有 200 个,分成两条互相缠绕的臂。没有哪条直线能把它们分开, 两条、三条也不行。先别按任何按钮:

先猜一猜一个只有 1 个隐藏层、2 个 tanh 单元的网络在两条螺旋上训练。动手之前先猜:它表现如何?

下面的实验台一开始是 1 个隐藏层、8 个 tanh 单元。按 训练。平面图 视图用背景颜色显示网络的回答,每条臂一种颜色;切换到 3D, 可以看到同一个回答画成平面上方的高度。

一个网络学习两条螺旋

选好网络的大小,再按“训练”。背景显示网络在每个点上的回答。

x₁ → x₂ ↑ −1 −10 01 1
颜色是网络在每个点上的回答;颜色越深,网络越有把握。
损失0步数 →训练后会画出损失
X (200, 2),@ W1 (2, 8) → (200, 8),@ W2 (8, 1) → (200, 1)
隐藏层数
每层单元数
激活函数
第 0 步 · 损失 – · 200 个点中对了 0% · 参数 33
臂 1 臂 2 背景:网络的回答,颜色越深越有把握

现在改变宽度。设成每层 2 个单元,再训练一次。然后试试 32。 只有 2 个单元时,网络只能把平面弯两次,螺旋的大部分它都分错了。 单元足够多时,背景就开始沿着两条臂走了。

我卡在这里了 为什么每次按“新的随机权重”,它找到的答案都不一样?

每次运行都从不同的随机权重出发,而训练只会从起点一路往下坡走。 所以两次运行可能停在不同的山谷里:边界不同,有时一次拟合得很好,另一次卡住了。 这种随机性是正常的。真正训练时,如果需要精确重复一次运行,就会固定随机种子。

我卡在这里了 实验台怎么知道这么多权重各该往哪边调?

它对每个权重算出损失的梯度,然后逆着梯度走一小步,这正是 第 2 关的梯度下降,只是步长的算法更聪明,你会在第 7 关见到。至于怎样给埋在隐藏层里的 权重算出梯度,靠的是链式法则,一层一层地用。那是第 6 关。

3. 它有多大?

2 个输入3 个隐藏神经元1 个输出
一个 2 → 3 → 1 的网络:6 条线进入隐藏层,3 条进入输出。每条线是一个权重。

两个神经元之间的每条线是一个权重,输入之后的每个神经元都有一个偏置。

数字 一个 2 → 8 → 1 的网络:2 个输入,一个 8 个单元的隐藏层,1 个输出。它一共有多少个权重和偏置?

现在加一层。

数字 一个 2 → 8 → 8 → 1 的网络:2 个输入,两个各 8 个单元的隐藏层,1 个输出。有多少个权重和偏置?

实验台里的参数个数现在解锁了。拿你的答案和它对一对。

下面用 3D 展示同一个想法。它从第 1 节的例子(x=[2,1]x = [2, 1],ReLU)开始。然后选一个宽度和一个深度, 数一数线:每条线都是一个权重。

每条线是一个权重

选一个宽度和一个深度。按“下一步”,让一个样本穿过网络。

xHpW1W2
按“下一步”开始。 · 一共 9 个参数
层(3)

看两个隐藏层之间的线:一共有宽度 × 宽度条。宽度 6 的线是宽度 3 的四倍。

正的权重或值负的权重或值 圆盘的填充色就是它的值:颜色越深,离 0 越远。 前向(这一步) 线越粗 = |w| 越大。选一层,查看它的数。

4. 每个隐藏单元在做什么

勾选 显示第一层每个单元的直线。第一层的每个单元都是第 3 关的那种神经元:它画 一条直线,报告一个点在哪一边。它后面的层把这些报告组合起来。 很多条直线,中间再加上弯折,几乎能描出任何形状:在这里,就是一条螺旋。

深入一点 宽一点还是深一点?

原则上,一个很宽的隐藏层可以逼近任何合理的函数:单元加得足够多,它们的 直线就能把平面切成任意多块。但“足够多”可能是个天文数字。

深度能复用已经做过的工作。第二层看到的不是点,而是第一层的回答,所以它可以把 第一层已经找到的碎片组合起来。正因为这样,同样多的参数,分到两三层里, 往往比全放在一层里做得更多。在下面试试。

深度也有代价:梯度要反向穿过每一层,而第 4 关讲过,它每过一层都可能变小。 第 6 关和第 7 关会处理这个问题。

动手试试

比较 1 层 32 个单元和 3 层各 8 个单元。哪个参数更多?训练 1000 步之后,哪个把螺旋 画得更好?然后切换到 ReLU:边界由直的线段拼成,而不是曲线。为什么?

5. 自己写出来

写出单隐藏层、用 tanh 的 MLP 的隐藏层。一切都是矩阵,所以一行就能处理 一整批样本。在 NumPy 里,tanh 是 np.tanh:np.tanh(np.array([0., 1.])) 得到 [0., 0.76],每个元素一个 tanh。

代码写出隐藏层:X @ W1 加 b1,再取 tanh。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

现在加深度。第二个隐藏层还是同一行代码,只是输入从 XX 换成了 H1H_1。 这次用 ReLU:在 NumPy 里是 np.maximum(0, …),和第 4 关一样。这是第 1 节那个网络的 2 → 2 → 2 → 1 版本:

H1=ReLU(XW1+b1)H2=ReLU(H1W2+b2)out=H2W3+b3H_1 = \text{ReLU}(X W_1 + b_1) \qquad H_2 = \text{ReLU}(H_1 W_2 + b_2) \qquad \text{out} = H_2 W_3 + b_3
代码写出有两个 ReLU 隐藏层的网络的前向传播,然后返回最后一层的输出(W3 和 b3,没有 sigmoid)。好几行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 对一个样本手算 MLP 的前向传播:隐藏层、激活函数、输出。
  • 说出一批样本经过每一层后输出的形状。
  • 根据各层的大小,数出网络的权重和偏置。

要记住

  • ,
  • (N, d_in) @ (d_in, n) → (N, n):每个样本一行,每个隐藏单元一列
  • 每层的参数:输入数 × 输出数个权重,加上每个输出一个偏置
  • 第一层的每个单元画一条直线;后面的层把这些直线组合起来

常见错误

  • 只数了线(权重),忘了每个神经元还有一个偏置。
  • 在激活函数之后才加偏置,而不是之前:act(X @ W1 + b1)。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星