深入一点 为什么很多 Transformer 用 GELU 取代了 ReLU
远看 GELU 像 ReLU:输入很负时约等于 0,输入很大时约等于 x。
近看,它在两点上不同,而这两点都有利于训练:
- 它是光滑的。 ReLU 在 0 处有个尖角,所以斜率从 0 一下跳到 1。GELU 的斜率是
逐渐变化的,这让优化器面对的损失曲面更光滑。
- 它在左边没有死掉。 在大约 −3 到 0 之间,它稍微低于 0,而且仍然有斜率,
所以输入变成负数的神经元还能拿到梯度,还能回来。
你可以把 GELU 理解成“把 x 乘上它应该通过的概率”:很大的 x 几乎全部通过,
很负的 x 被挡住,0 附近的值部分通过。第 16 关的小 Transformer 仍然用 ReLU,因为它手算起来
更简单。很多大模型在那里用的是 GELU,第 19 关会讲今天大多数模型用的门控版本。
4. 自己写出斜率
反向传播(第 6 关)需要把每个激活函数的斜率写成一个函数。有两个 NumPy 工具,让这只需要一行。
比较运算会同时作用在数组的每个元素上,而 .astype(float) 把 True/False 变成 1.0/0.0:
x = np.array([-1.0, 0.0, 2.0])
x > 0 # array([False, False, True])
(x < 1).astype(float) # array([1., 1., 0.])
普通的 if x > 0: 不能用在整个数组上,因为 Python 没法判断整个数组是不是“真”。
为整个数组写出 ReLU 的斜率。
代码对数组 x 的每个元素写出 ReLU 的斜率(x > 0 的地方是 1,否则是 0)。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
再写第 2 节表格里 sigmoid 的斜率:σ(x)(1−σ(x))。在代码里,σ(x) 是
1 / (1 + np.exp(-x)),和第 3 关的神经元一样,而 np.exp 会作用在数组的每个元素上。
先算一次 σ(x),给它起个名字,然后用两次。
代码对数组 x 的每个元素写出 sigmoid 的斜率:先算 σ(x),再算 σ(x)·(1 − σ(x))。两行。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
动手试试
在实验台里,设 x = 0.5,n = 20。穿过 20 层之后,哪些函数还能传回有用的梯度?
再设 x = −0.5。ReLU 会怎样?GELU 呢?