第 4 关 · 基础 · 在浏览器里运行
English

激活函数

网络为什么需要一个非线性的步骤?该用哪一种?

在第 3 关,一个神经元画一条直线,而没有哪条直线能把 XOR 分开。在 XOR 上,这个神经元最好的 交叉熵损失是 ln 2 ≈ 0.6931,也就是抛硬币的代价。这一关把神经元叠起来,看看它们之间必须放什么, 再比较那里最常用的四个函数。

1. 把神经元叠起来,问题就解决了吗?

一条线不够,那就并排放几个神经元(叫作一层,layer),再把它们的输出交给 另一个神经元。先不用 sigmoid,只用普通的线性层试试。

取一个点 x=[2,1]x = [2, 1] 和两层:

W1=[1201]W2=[11]W_1 = \begin{bmatrix} 1 & 2 \\ 0 & 1 \end{bmatrix} \qquad W_2 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}

第一层算 h=xW1h = x W_1,第二层算 hW2h W_2。 (在数学里,xW1x W_1 两个字母中间什么都不写,指的就是代码里的矩阵乘法 x @ W1。)

数字 x = [2, 1],W1 = [[1, 2], [0, 1]],W2 = [[1], [1]]。先算 h = x @ W1,再算 out = h @ W2。out 是多少?

矩阵乘法允许你先把两个权重矩阵乘起来:(xW1)W2=x(W1W2)(x W_1) W_2 = x (W_1 W_2)。

数字 W1 = [[1, 2], [0, 1]],W2 = [[1], [1]]。W1 @ W2 的形状是 (2, 1)。它上面那个元素是多少?

所以这两层其实就是一层,权重是 W1W2W_1 W_2。线性层叠多少层, 结果都还是一条直线。除非层与层之间有某种非线性的东西,否则多加的层什么也没加。

深入一点 非线性到底做了什么

在层之间放一个非线性函数,比如 h=tanh⁡(xW1+b1)h = \tanh(x W_1 + b_1)。tanh 就是把 sigmoid 拉伸到 −1 到 1 的范围:tanh⁡(x)=2 sigmoid(2x)−1\tanh(x) = 2\,\text{sigmoid}(2x) - 1。现在 (tanh⁡(⋅))W2(\tanh(\cdot)) W_2 就没法改写成一个矩阵了,因为 tanh 对加法不能拆开:tanh⁡(a+b)≠tanh⁡(a)+tanh⁡(b)\tanh(a + b) \ne \tanh(a) + \tanh(b)。

每个隐藏神经元仍然画一条直线,然后 tanh 把它的输出弯成“这一边”(约 +1)或 “那一边”(约 −1)。输出神经元再把这些回答组合起来。两条线加上一次组合,就能拼出 XOR 的图案:“两条线之间”是 1,“外面”是 0。下面的实验台里,你会看到网络找到的正是这种图案。

原则上任何非线性函数都行。这一页最后一部分会比较你最常遇到的四个。

下面是一个有 6 个隐藏神经元的网络,正在你的浏览器里真正地学习 XOR。它的隐藏神经元用的是 tanh (拉伸到 −1…1 的 sigmoid,见上面的方框)。按“训练”。

一个 2 → 6 → 1 的网络学习 XOR

按“训练”,看背景怎样绕着四个点弯曲。然后关掉激活函数,再试一次。

0110x1 →x2 ↑
损失0步数 →训练后会画出损失
训练中的损失(最近 200 条记录)
输入目标值输出
[0, 0]00.000
[0, 1]10.000
[1, 0]10.000
[1, 1]00.000
步数 0 · 损失(交叉熵) — · ✗ 还没学会
背景:网络有多确定是 1 目标值 1 目标值 0 答错的点
先猜一猜动手之前先猜:如果取消勾选“开启激活函数(tanh)”再按“训练”,会发生什么?两层,6 个隐藏神经元,但没有 tanh。

把激活函数重新打开,网络就能把四个点全部分对。

动手试试

在激活函数打开的情况下,多按几次“新的随机权重”。网络每次找到的边界都不一样,但总能 把四个点全部分对。你看到了哪些图案?它有没有只用一条直线?

实验台里 6 个隐藏神经元用的都是 tanh。tanh 是最好的选择吗?接下来几节把它和另外三个函数做比较。

2. 四个激活函数

层与层之间的这个函数叫作激活函数(activation function)。下面是你会遇到的四个。f′(x) 读作“f 撇 x”, 是 f 在 x 处的斜率(第 2 关)。

名称f(x)斜率 f′(x)
sigmoidσ(x)=1/(1+e−x)\sigma(x) = 1 / (1 + e^{-x})σ(x) (1−σ(x))\sigma(x)\,(1 - \sigma(x))
tanhtanh⁡(x)\tanh(x)1−tanh⁡(x)21 - \tanh(x)^2
ReLUmax⁡(0,x)\max(0, x)x>0x > 0 时是 1,否则是 0
GELUx⋅Φ(x)x \cdot \Phi(x)Φ(x)+x φ(x)\Phi(x) + x\,\varphi(x)

Φ(x)\Phi(x) 是从钟形曲线(均值 0,标准差 1;第 10 关会讲)里随机取一个数,它落在 xx 以下的概率; φ\varphi 就是这条钟形曲线本身。 你不需要背下它们。重要的是斜率,因为训练是由斜率推动的: 第 6 关会讲到,梯度要反向穿过每一层,每经过一层,都要乘上 那一层的 f′。

数字 σ(0) = 0.5。用 f′(x) = σ(x)·(1 − σ(x)),sigmoid 在 x = 0 处的斜率是多少?

ReLU 更简单。它的斜率只有两个值。

数字 ReLU(x) = max(0, x)。它在 x = −2 处的斜率是多少?

现在把斜率串起来。每一层都把梯度乘上自己的 f′。(权重也会乘到梯度上。这里先 不管它们;第 7 关会讲权重的初始大小怎样改变这个结果。)

选择梯度反向穿过 10 层 sigmoid。每一层都把它乘上那一层的 σ′,而 σ′ 最大是 0.25。从梯度 1 开始,不算权重。到达第一层的最多是多少?
数字 五层 sigmoid,不算权重,最好的情况:梯度被乘了五次 0.25。0.25⁵ = 1 / N。N 是多少?

3. 四个一起看

在任意一个面板上拖动。实线是 f,虚线是它的斜率。最下面的表格把 斜率连乘 n 层。

四个激活函数和它们的斜率

在任意一个面板上拖动或用方向键来移动 x。四个面板读的是同一个 x。

sigmoid
−441
f(1.0) = 0.7311 f′(1.0) = 0.1966
tanh
−441
f(1.0) = 0.7616 f′(1.0) = 0.4200
ReLU
−441
f(1.0) = 1.0000 f′(1.0) = 1.0000
GELU
−441
f(1.0) = ? f′(1.0) = ?

如果每一层都在这个 x 处,到达第一层的梯度每经过一层就乘一次 f′(x):f′(x)n。

sigmoidtanhReLUGELU
f′(1.0)0.19660.42001.0000?
f′50.00030.01311.0000?
f(x) 斜率 f′(x) y = 1 梯度小于 0.001:它几乎消失了

要看的三件事:

  • sigmoid 和 tanh 两端都会变平。 把 x 移到 3:tanh′(3) 约为 0.0099。一个神经元的输入 离 0 这么远时,几乎不往回传梯度。这叫作饱和(saturation)。把很多这样的层叠起来, 前面几层拿到的梯度就会缩向 0:这就是梯度消失(vanishing gradient)。
  • ReLU 在右边永远不会变平。 对每个正的输入,它的斜率都正好是 1,所以梯度 原样穿过。正因为这样,深层网络才训练得动。
  • ReLU 在左边完全是平的。 一个神经元如果对每个样本的输入都是负的,它拿到的梯度就是 0, 从此再也不会变。
我卡在这里了 既然 ReLU 左边的斜率是 0,一个变成负数的神经元怎么还能回来?

走这条路是回不来的。如果一个神经元的输入 zz 对每个训练样本都是负的,那它对每个样本的斜率都是 0, 所以它的输入权重一点梯度也拿不到。没有什么能把它拉回来。这就是 死 ReLU(dead ReLU)。学习率很大时,一次大的更新可能同时把很多神经元推到那里,网络的一大部分 就停止学习了。

其他神经元仍然可以改变输入给它的东西,所以它有时能重新开始学习。但这并不可靠。 常用的预防办法有:合理的权重初始大小(第 7 关)、不要太大的学习率, 以及在左边保留一点小斜率的变体,比如 Leaky ReLU(x<0x < 0 时取 0.01x0.01x)。GELU 在 0 附近也有一小段 负的部分,不过对很负的输入,它的斜率同样会接近 0。

数字 GELU(x) = x · Φ(x),Φ(−1) = 0.1587。GELU(−1) 是多少?(保留四位小数。)
深入一点 为什么很多 Transformer 用 GELU 取代了 ReLU

远看 GELU 像 ReLU:输入很负时约等于 0,输入很大时约等于 xx。 近看,它在两点上不同,而这两点都有利于训练:

  1. 它是光滑的。 ReLU 在 0 处有个尖角,所以斜率从 0 一下跳到 1。GELU 的斜率是 逐渐变化的,这让优化器面对的损失曲面更光滑。
  2. 它在左边没有死掉。 在大约 −3 到 0 之间,它稍微低于 0,而且仍然有斜率, 所以输入变成负数的神经元还能拿到梯度,还能回来。

你可以把 GELU 理解成“把 xx 乘上它应该通过的概率”:很大的 xx 几乎全部通过, 很负的 xx 被挡住,0 附近的值部分通过。第 16 关的小 Transformer 仍然用 ReLU,因为它手算起来 更简单。很多大模型在那里用的是 GELU,第 19 关会讲今天大多数模型用的门控版本。

4. 自己写出斜率

反向传播(第 6 关)需要把每个激活函数的斜率写成一个函数。有两个 NumPy 工具,让这只需要一行。 比较运算会同时作用在数组的每个元素上,而 .astype(float) 把 True/False 变成 1.0/0.0:

x = np.array([-1.0, 0.0, 2.0])
x > 0                  # array([False, False,  True])
(x < 1).astype(float)  # array([1., 1., 0.])

普通的 if x > 0: 不能用在整个数组上,因为 Python 没法判断整个数组是不是“真”。 为整个数组写出 ReLU 的斜率。

代码对数组 x 的每个元素写出 ReLU 的斜率(x > 0 的地方是 1,否则是 0)。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

再写第 2 节表格里 sigmoid 的斜率:σ(x) (1−σ(x))\sigma(x)\,(1 - \sigma(x))。在代码里,σ(x)\sigma(x) 是 1 / (1 + np.exp(-x)),和第 3 关的神经元一样,而 np.exp 会作用在数组的每个元素上。 先算一次 σ(x)\sigma(x),给它起个名字,然后用两次。

代码对数组 x 的每个元素写出 sigmoid 的斜率:先算 σ(x),再算 σ(x)·(1 − σ(x))。两行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

动手试试

在实验台里,设 x = 0.5,n = 20。穿过 20 层之后,哪些函数还能传回有用的梯度? 再设 x = −0.5。ReLU 会怎样?GELU 呢?

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 说明两层之间没有激活函数时,它们会合并成一层。
  • 读出 sigmoid、tanh、ReLU 和 GELU 的斜率,并用 NumPy 对整个数组算出来。
  • 解释为什么梯度穿过很多层 sigmoid 后会消失。

要记住

  • (x @ W1) @ W2 = x @ (W1 @ W2):没有激活函数,叠多少层都还是一条直线
  • ,最大是 0.25
  • ReLU 的斜率:0 的右边是 1,左边是 0
  • 穿过 层 sigmoid(不算权重),到达第一层的最多是

常见错误

  • 对整个数组写 if x > 0:;应该直接拿数组本身去比较。
  • 把 x 当成列向量,写成 h = W1 @ x;本课程里 x 是行向量,所以是 h = x @ W1。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星