第 N1 关 · 基础 · 经典网络 · 在浏览器里运行
English

卷积

一个小小的卷积核,怎样在图片的任何位置找到边缘?

支线 · 最好在之后学: 第 10 · 概率与采样 关

一张 28×28 的图片有 784 个数。第 5 关的 MLP 让其中每一个数都有自己的权重,连到每一个隐藏单元。 可是一条边缘,不管在左上角还是在正中间,看起来都一样。 卷积(convolution)只用一小格权重,也就是卷积核(filter),让它滑过整张图片。

1. 一个卷积核,一个窗口

下面的图片是 5×5:一道由 1 组成的竖笔画,像数字 1。卷积核是 3×3。 要得到一个输出数,就把卷积核放在图片的一个 3×3 窗口上,把 9 对数分别相乘,再加起来。 然后滑动一步,再做一次。

一个 3×3 卷积核在图片上滑动

选中一个像素可以翻转它。把鼠标指向、点一下或聚焦一个输出格,就能看到它读的窗口。

图片
∗
卷积核(可编辑)
=
输出 3×3
?
?
?
?
?
?
?
?
?
卷积核
输出边长 = ⌊(5 − 3 + 2×0) / 1⌋ + 1 = 3
正的输出 负的输出 背景 = 0 3×3 窗口
数字 图片是 5×5,第 2 列是 1,其余都是 0。卷积核是 [[−1, 0, 1], [−1, 0, 1], [−1, 0, 1]]。out[0][0],也就是左上角那个 3×3 窗口的输出,是多少?

卷积核左边是 −1,右边是 +1。所以图片右边比左边亮的地方,输出就大。 这就是一条竖直边缘。每个输出格回答一个问题: “从左往右看,这里有没有从暗到亮的一步?”

数字 图片是 5×5,第 1 列是 1,其余都是 0。卷积核是 [[−1, 0, 1], [−1, 0, 1], [−1, 0, 1]],不填充,步幅 1。out[0][1] 是多少?
选择一张 5×5 的图片第 2 列是 1,其余都是 0。用水平边缘卷积核 [[−1, −1, −1], [0, 0, 0], [1, 1, 1]],不填充,步幅 1,3×3 的输出是什么样?
我卡在这里了 为什么同一道笔画出现了两次,一次是 +3,一次是 −3?

这道笔画有两条边缘。在它的左边,图片从 0 变到 1:从暗到亮,所以卷积核给出 +3。 在它的右边,图片从 1 变回 0:从亮到暗,所以卷积核给出 −3。 网络会学着同时利用这两者。后面的层可以把“这里一个 +3,往右两个像素一个 −3”组合成“一条细线”。

2. 输出大小:步幅和边缘填充

有两个设置会改变输出大小:

  • 步幅(stride)是卷积核每一步移动多远。步幅 2 只用每隔一个的位置(0、2、4、…),输出大约减半。
  • 边缘填充(padding)在图片周围加一圈 0,让卷积核也能放在边上的像素上。

图片边长 nn,卷积核边长 kk,步幅 ss,填充 pp:

output side=⌊n−k+2ps⌋+1\text{output side} = \left\lfloor \frac{n - k + 2p}{s} \right\rfloor + 1

括号 ⌊  ⌋\lfloor \; \rfloor 表示向下取整到整数:⌊15.5⌋=15\lfloor 15.5 \rfloor = 15。

在上面的实验台里试试这两个设置。填充 1、步幅 1 时,5×5 的图片输出仍是 5×5。

数字 一张 28×28 的图片,一个 5×5 卷积核,不填充,步幅 1。输出有多少个像素宽?
数字 一张 32×32 的图片,一个 3×3 卷积核,填充 1,步幅 2。输出有多少个像素宽?

3. 为什么共用一个卷积核

同样的 9 个权重在每个位置都用。这叫权重共享(weight sharing)。拿它和一个给出同样输出的全连接层 (第 5 关)比一比:全连接层给每一对(输入像素,输出格)都配一个权重。

数字 一张 6×6 的图片和一个 3×3 卷积核给出 4×4 的输出。一个给出同样 4×4 输出的全连接层,把 36 个像素中的每一个都连到 16 个输出格中的每一个。它有多少个权重(不算偏置)?

换成一个真实的数字,差距就很大了。28×28 的图片有 784 个像素,26×26 的输出有 676 格,全连接层需要 784 × 676 = 529,984 个权重。卷积核仍然只要 9 个:少了大约 59,000 倍。 卷积核只学一次“边缘长什么样”,然后到处都能找到它。

先猜一猜两个网络在 60,000 个手写数字上训练同样的 1,500 步。卷积网络有 5,258 个权重,MLP 有 50,890 个。在 10,000 个从没见过的数字上,哪个得分更高?
深入一点 图片挪动一下,卷积网络还能认出来吗?

不完全能。图片挪多少,特征图就跟着挪多少:卷积核找到的还是同样的边缘,只是换了位置。 但到了最后,网络把特征图压平成一个列表,再乘一个全连接层。那一层学到了哪些位置重要, 它并不把每个位置一视同仁。

这一关的 demo.py 测了这件事。把每个测试数字往右挪 3 个像素、往下挪 3 个像素,卷积网络从 98.0% 掉到 31.2%, MLP 从 96.2% 掉到 16.2%。两者都受了影响。卷积网络受的影响小一些,因为它的池化层 (第 5 节)在每个小块里只留下最大的数,所以小小的挪动改变得更少。

4. 通道:同时用很多个卷积核

一个卷积核回答一个问题,比如“这里有竖直边缘吗?”。真实的一层同时问很多问题: 它有很多个卷积核,每个都生成自己的输出图。这些图叠在一起,每一张叫一个通道(channel)。 一个有 8 个卷积核的层,把一张图片变成 8 个通道。

下一层要读全部 8 个通道。所以它的每个卷积核不是 3×3,而是 8×3×3:每个输入通道一片 3×3。 在每个位置上,它把 8 个窗口分别乘上对应的那一片,再把 72 个乘积加成一个数。 彩色图片从一开始就是这样:它有 3 个输入通道(红、绿、蓝)。

形状
输入(C_in, H, W)
一个卷积核(C_in, k, k)
这一层C_out 个卷积核,每个再加一个偏置
输出(C_out, H′, W′)

所以一层有 k⋅k⋅Cin⋅Coutk \cdot k \cdot C_{in} \cdot C_{out} 个权重,外加 CoutC_{out} 个偏置。 例子:一个从 1 个通道到 8 个通道的 3×3 层,有 3 · 3 · 1 · 8 = 72 个权重和 8 个偏置,一共 80 个数。

数字 一个 3×3 卷积层读 8 个输入通道,生成 16 个输出通道。它要学多少个数,权重加偏置?

上面“先猜一猜”里的卷积网络,它的 5,258 个数就是这样来的:第一层 80 个,第二层 1,168 个, 最后的全连接层 4,010 个(16 个通道 × 5 × 5 个位置 = 400 个输入,到 10 个数字的分数:400 · 10 + 10)。

深入一点 同样的四步,不同的连接

MLP、卷积网络、循环网络(支线 N3)和 Transformer(第 14 关起)做的都是同样的 四件事:输入乘权重,加偏置,过一个非线性函数,用梯度下降学权重。 它们只在两点上不同:每个权重碰到哪些输入,以及哪些权重是共享的。

网络每个输出读什么权重在什么之间共享
MLP所有输入不共享
卷积一个小窗口图片里的每个位置
循环这一步的输入和上一步的状态每个时间步
Transformer每个 token,按注意力权重混合每个 token 位置

在深度学习里,“卷积”不会像数学定义那样先把卷积核翻转过来。它其实是 互相关(cross-correlation)。因为卷积核是学出来的,这点差别无关紧要。

5. 把层叠起来:看到图片的更大一块

一个 3×3 卷积核看到一个 3×3 窗口。在第一层上面再放一个 3×3 层。它的每个输出读第一层输出的一个 3×3 窗口, 而那些输出又各自读 3×3 个像素。合起来,第二层的一个输出取决于图片上更大的一块。 这一块就是它的感受野(receptive field)。

数字 两个 3×3 层叠在一起,步幅 1,没有池化。第二层的一个输出像素取决于图片上一块正方形区域。这一块有多少个像素宽?

池化(pooling)把特征图缩小。2×2 最大池化在每个 2×2 小块里留下最大的数,所以特征图在每个方向上都减半。

数字 对 [[1, 3, 0, 2], [4, 2, 1, 1], [0, 0, 5, 6], [1, 2, 7, 0]] 做 2×2 最大池化,得到 2×2 的结果。它右下角的数是多少?

要算更深的一叠层的感受野,就一层一层往上走,跟踪两个数:

  • 宽度:这一块有多少个像素宽。从 1(一个像素)开始。
  • 间距:当前这张图上,相邻两格在原图上隔了多少个像素。从 1 开始。

然后每一层用一条规则:

  • 一个 k×k 卷积让宽度增加 (k − 1) × 间距;
  • 一个 2×2 池化让宽度增加 1 × 间距,然后间距翻倍(它的输出格之间隔得远了一倍)。

算一个例子,“卷积、池化、…”的前两层:

层宽度间距
开始11
3×3 卷积1 + 2 × 1 = 31
2×2 池化3 + 1 × 1 = 42

没有池化时间距一直是 1,所以两个 3×3 层得到 5。现在把这张表再往下填两层。

数字 一层一层地跟踪这一块的宽度和间距。一个 k×k 卷积让宽度增加 (k − 1) × 间距。一个 2×2 池化让宽度增加 1 × 间距,然后间距翻倍。经过一个 3×3 卷积和一个 2×2 池化后,宽度是 4,间距是 2。再加第二个 3×3 卷积,然后第二个 2×2 池化。最后的一个输出能看到多少个像素宽的一块?

6. 更深的层看到什么

一个输出像素能看到图片的多大一块

加层、换卷积核大小、打开池化,看感受野怎样变大。

  1. 卷积 1(3×3):看到 3×3
最后一层之后的一个像素能看到图片上 3×3 个像素
输出像素 最深的一圈:第一层看到的;每一圈更浅的:多一层增加的部分

前面的层看到小块,找到边缘。更深的层看到大块,把边缘组合成圈、角和完整的数字。

下面是第 4 节那个识别数字的完整网络,用 3D 画出来。每一层是一个方块:宽和高是图片,深度是通道。

图片越来越小,通道越来越多

按“下一步”,一次走一层。转动视图,可以看到通道一个接一个排在后面。

拖动旋转 · 点一下后用滚轮缩放
按“下一步”开始。 · 一共 5,258 个参数
层(6)

看那个由线组成的锥形:一个输出格只读前一层的一个小窗口,但穿过每一个通道。

前向(这一步) 选一层,查看它的数。

动手试试

把卷积实验台切换到手写数字,在 1 和 0 上试试竖直边缘卷积核。然后修改卷积核,让它只在像“/”那样倾斜的笔画上 给出大的输出。你把哪三格设成了正数?

7. 自己写一遍

先看怎样在 NumPy 里切出一个窗口。对一个二维数组,x[0:3, 0:3] 一步就取出第 0–2 行和第 0–2 列:一个 3×3 小块。 列表的习惯写法 x[0:3][0:3] 做的是另一件事:x[0:3] 取出第 0–2 行,第二个 [0:3] 又在这里面取第 0–2 行, 所以你得到的是所有列。对一个从第 i 行、第 j 列开始的窗口,写 x[i:i+3, j:j+3]。

* 把两个形状相同的数组逐格相乘,.sum() 把一个数组里所有的数加起来。

用两层循环写一个卷积。对每个输出位置,取出卷积核下面的窗口,把 窗口 × 卷积核 加起来。

代码写一行:(i, j) 处的输出,是从 (i, j) 开始的 3×3 窗口乘以卷积核,再求和。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

现在让卷积核边长和步幅可以变。卷积核边长 f、步幅 s 时,输出格 (i, j) 读的窗口从 第 i * s 行、第 j * s 列开始,所以窗口是 x[i*s:i*s+f, j*s:j*s+f]。没有填充时,输出边长就是第 2 节的公式, 取 p = 0。在 Python 里,a // b 做除法并向下取整:7 // 2 是 3。

代码写一个适用于任意正方形卷积核、任意步幅、不填充的卷积。算出输出边长 m,建好 out,再填满每个 out[i, j]。把 ____ 换成你需要的任意多行。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 手算一个输出格:把卷积核放在它的窗口上,逐格相乘,再把乘积加起来。
  • 在搭一层之前,就算出它的输出大小,以及它有多少个权重和偏置。
  • 用 NumPy 写出任意卷积核大小、任意步幅的卷积:两层循环加一个窗口切片。

要记住

  • 参数: 个权重 + 个偏置
  • 输出 (i, j) 的窗口:x[i*s:i*s+f, j*s:j*s+f],卷积核边长 f,步幅 s
  • 感受野:一个 k×k 卷积让宽度增加 (k − 1) × 间距;一个 2×2 池化让宽度增加 1 × 间距,然后间距翻倍

常见错误

  • 忘了每个卷积核都要读所有输入通道:它是 ,不是 。
  • 用 x[0:3][0:3](切了两次行)而不是 x[0:3, 0:3] 切窗口,或者用 @ 代替 *。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星