卷积核左边是 −1,右边是 +1。所以图片右边比左边亮的地方,输出就大。 这就是一条竖直边缘。每个输出格回答一个问题: “从左往右看,这里有没有从暗到亮的一步?”
我卡在这里了 为什么同一道笔画出现了两次,一次是 +3,一次是 −3?
这道笔画有两条边缘。在它的左边,图片从 0 变到 1:从暗到亮,所以卷积核给出 +3。 在它的右边,图片从 1 变回 0:从亮到暗,所以卷积核给出 −3。 网络会学着同时利用这两者。后面的层可以把“这里一个 +3,往右两个像素一个 −3”组合成“一条细线”。
独立做出这 4 道题。 全部答对,这一关就算三星通关。看过答案的不算。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
开始前快速复习一下。可选,不会锁住这一关。
一张 28×28 的图片有 784 个数。第 5 关的 MLP 让其中每一个数都有自己的权重,连到每一个隐藏单元。 可是一条边缘,不管在左上角还是在正中间,看起来都一样。 卷积(convolution)只用一小格权重,也就是卷积核(filter),让它滑过整张图片。
下面的图片是 5×5:一道由 1 组成的竖笔画,像数字 1。卷积核是 3×3。 要得到一个输出数,就把卷积核放在图片的一个 3×3 窗口上,把 9 对数分别相乘,再加起来。 然后滑动一步,再做一次。
选中一个像素可以翻转它。把鼠标指向、点一下或聚焦一个输出格,就能看到它读的窗口。
卷积核左边是 −1,右边是 +1。所以图片右边比左边亮的地方,输出就大。 这就是一条竖直边缘。每个输出格回答一个问题: “从左往右看,这里有没有从暗到亮的一步?”
这道笔画有两条边缘。在它的左边,图片从 0 变到 1:从暗到亮,所以卷积核给出 +3。 在它的右边,图片从 1 变回 0:从亮到暗,所以卷积核给出 −3。 网络会学着同时利用这两者。后面的层可以把“这里一个 +3,往右两个像素一个 −3”组合成“一条细线”。
有两个设置会改变输出大小:
图片边长 ,卷积核边长 ,步幅 ,填充 :
括号 表示向下取整到整数:。
在上面的实验台里试试这两个设置。填充 1、步幅 1 时,5×5 的图片输出仍是 5×5。
同样的 9 个权重在每个位置都用。这叫权重共享(weight sharing)。拿它和一个给出同样输出的全连接层 (第 5 关)比一比:全连接层给每一对(输入像素,输出格)都配一个权重。
换成一个真实的数字,差距就很大了。28×28 的图片有 784 个像素,26×26 的输出有 676 格,全连接层需要 784 × 676 = 529,984 个权重。卷积核仍然只要 9 个:少了大约 59,000 倍。 卷积核只学一次“边缘长什么样”,然后到处都能找到它。
不完全能。图片挪多少,特征图就跟着挪多少:卷积核找到的还是同样的边缘,只是换了位置。 但到了最后,网络把特征图压平成一个列表,再乘一个全连接层。那一层学到了哪些位置重要, 它并不把每个位置一视同仁。
这一关的 demo.py 测了这件事。把每个测试数字往右挪 3 个像素、往下挪 3 个像素,卷积网络从 98.0% 掉到 31.2%, MLP 从 96.2% 掉到 16.2%。两者都受了影响。卷积网络受的影响小一些,因为它的池化层 (第 5 节)在每个小块里只留下最大的数,所以小小的挪动改变得更少。
一个卷积核回答一个问题,比如“这里有竖直边缘吗?”。真实的一层同时问很多问题: 它有很多个卷积核,每个都生成自己的输出图。这些图叠在一起,每一张叫一个通道(channel)。 一个有 8 个卷积核的层,把一张图片变成 8 个通道。
下一层要读全部 8 个通道。所以它的每个卷积核不是 3×3,而是 8×3×3:每个输入通道一片 3×3。 在每个位置上,它把 8 个窗口分别乘上对应的那一片,再把 72 个乘积加成一个数。 彩色图片从一开始就是这样:它有 3 个输入通道(红、绿、蓝)。
| 形状 | |
|---|---|
| 输入 | (C_in, H, W) |
| 一个卷积核 | (C_in, k, k) |
| 这一层 | C_out 个卷积核,每个再加一个偏置 |
| 输出 | (C_out, H′, W′) |
所以一层有 个权重,外加 个偏置。 例子:一个从 1 个通道到 8 个通道的 3×3 层,有 3 · 3 · 1 · 8 = 72 个权重和 8 个偏置,一共 80 个数。
上面“先猜一猜”里的卷积网络,它的 5,258 个数就是这样来的:第一层 80 个,第二层 1,168 个, 最后的全连接层 4,010 个(16 个通道 × 5 × 5 个位置 = 400 个输入,到 10 个数字的分数:400 · 10 + 10)。
MLP、卷积网络、循环网络(支线 N3)和 Transformer(第 14 关起)做的都是同样的 四件事:输入乘权重,加偏置,过一个非线性函数,用梯度下降学权重。 它们只在两点上不同:每个权重碰到哪些输入,以及哪些权重是共享的。
| 网络 | 每个输出读什么 | 权重在什么之间共享 |
|---|---|---|
| MLP | 所有输入 | 不共享 |
| 卷积 | 一个小窗口 | 图片里的每个位置 |
| 循环 | 这一步的输入和上一步的状态 | 每个时间步 |
| Transformer | 每个 token,按注意力权重混合 | 每个 token 位置 |
在深度学习里,“卷积”不会像数学定义那样先把卷积核翻转过来。它其实是 互相关(cross-correlation)。因为卷积核是学出来的,这点差别无关紧要。
一个 3×3 卷积核看到一个 3×3 窗口。在第一层上面再放一个 3×3 层。它的每个输出读第一层输出的一个 3×3 窗口, 而那些输出又各自读 3×3 个像素。合起来,第二层的一个输出取决于图片上更大的一块。 这一块就是它的感受野(receptive field)。
池化(pooling)把特征图缩小。2×2 最大池化在每个 2×2 小块里留下最大的数,所以特征图在每个方向上都减半。
要算更深的一叠层的感受野,就一层一层往上走,跟踪两个数:
然后每一层用一条规则:
算一个例子,“卷积、池化、…”的前两层:
| 层 | 宽度 | 间距 |
|---|---|---|
| 开始 | 1 | 1 |
| 3×3 卷积 | 1 + 2 × 1 = 3 | 1 |
| 2×2 池化 | 3 + 1 × 1 = 4 | 2 |
没有池化时间距一直是 1,所以两个 3×3 层得到 5。现在把这张表再往下填两层。
加层、换卷积核大小、打开池化,看感受野怎样变大。
前面的层看到小块,找到边缘。更深的层看到大块,把边缘组合成圈、角和完整的数字。
下面是第 4 节那个识别数字的完整网络,用 3D 画出来。每一层是一个方块:宽和高是图片,深度是通道。
按“下一步”,一次走一层。转动视图,可以看到通道一个接一个排在后面。
看那个由线组成的锥形:一个输出格只读前一层的一个小窗口,但穿过每一个通道。
前向(这一步) 选一层,查看它的数。
把卷积实验台切换到手写数字,在 1 和 0 上试试竖直边缘卷积核。然后修改卷积核,让它只在像“/”那样倾斜的笔画上 给出大的输出。你把哪三格设成了正数?
先看怎样在 NumPy 里切出一个窗口。对一个二维数组,x[0:3, 0:3] 一步就取出第 0–2 行和第 0–2 列:一个 3×3 小块。
列表的习惯写法 x[0:3][0:3] 做的是另一件事:x[0:3] 取出第 0–2 行,第二个 [0:3] 又在这里面取第 0–2 行,
所以你得到的是所有列。对一个从第 i 行、第 j 列开始的窗口,写 x[i:i+3, j:j+3]。
* 把两个形状相同的数组逐格相乘,.sum() 把一个数组里所有的数加起来。
用两层循环写一个卷积。对每个输出位置,取出卷积核下面的窗口,把 窗口 × 卷积核 加起来。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
现在让卷积核边长和步幅可以变。卷积核边长 f、步幅 s 时,输出格 (i, j) 读的窗口从
第 i * s 行、第 j * s 列开始,所以窗口是 x[i*s:i*s+f, j*s:j*s+f]。没有填充时,输出边长就是第 2 节的公式,
取 p = 0。在 Python 里,a // b 做除法并向下取整:7 // 2 是 3。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
通关后,这里会显示关键公式和常见错误。
x[i*s:i*s+f, j*s:j*s+f],卷积核边长 f,步幅 sx[0:3][0:3](切了两次行)而不是 x[0:3, 0:3] 切窗口,或者用 @ 代替 *。按 ? 查看快捷键