现在来看一个真实的堆叠。每一层是 h ← tanh(h @ W),宽 16 个数,权重从标准差为 0.8/√16 的正态分布里抽取。
这比第 7 关的规则 1/√16 稍小一点。
叠 30 个 tanh 层:信号和梯度还剩多少?
拖动深度和权重尺度。比较普通堆叠和残差堆叠。
标着“普通”的线是普通堆叠。往上走,信号(每一层的输出)一层比一层小。往下回来,梯度也一样:
在 demo.py 里,梯度的标准差在顶部是 1.02,往下 10 层是 0.098,往下 20 层是 0.0059,到底部是 0.000135。
前面的几层几乎收不到学习信号,所以它们几乎不变。更深的普通网络最后可能比浅的还差。
我卡在这里了 第 7 关用一个好的初始尺度解决了这个问题。为什么还不够?
好的初始尺度只能保证第一步时数值在范围内。之后训练会改变每一个权重,tanh 单元会慢慢移到它平坦的两端, 那里斜率接近 0。三十个各自和 1 差一点的因子,乘起来仍然会非常小或非常大。 解决办法必须在权重变化时一直有效。残差连接做到了。