批的用法和第 5 关一样:一批图片是一张表,每张图片一行,每一层都是 X @ W + b。
我卡在这里了 既然目标就是输入本身,网络为什么不能直接把它复制过去?
能复制的话它会的:复制能让损失为 0。瓶颈不允许这样。784 个数没法原样穿过 2 个数,所以编码器 必须留下最重要的东西(是哪个数字、斜得多厉害、笔画多粗),丢掉其余的。没有人告诉它什么重要; 由最小化重建损失来决定。整个过程都不用标签:图片就是它自己的目标值。
独立做出这 5 道题。 全部答对,这一关就算三星通关。看过答案的不算。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
开始前快速复习一下。可选,不会锁住这一关。
一个手写数字是 784 个数,但其中大部分数都是可以预料的:深色的背景,一笔朝某个方向弯过去。 最少要几个数才够描述它?这一关训练一个网络,把一个数字压成 2 个数,再从这 2 个数把它重建出来。 这几个数叫作编码(code,也叫潜变量,latent)。同样的想法让图像生成器可以在很小的编码上工作, 而不是在几百万个像素上(支线 D3)。
自编码器(autoencoder)是两个前后相接的小网络:
中间那段窄的地方叫瓶颈(bottleneck)。解码器关于这张图知道的一切,都必须从这里穿过。
批的用法和第 5 关一样:一批图片是一张表,每张图片一行,每一层都是 X @ W + b。
能复制的话它会的:复制能让损失为 0。瓶颈不允许这样。784 个数没法原样穿过 2 个数,所以编码器 必须留下最重要的东西(是哪个数字、斜得多厉害、笔画多粗),丢掉其余的。没有人告诉它什么重要; 由最小化重建损失来决定。整个过程都不用标签:图片就是它自己的目标值。
这是整个自编码器。每个方块里,每个数占一格。
按“下一步”,跟着一张图片穿过网络。
看大小:每个块的格数就是它的数的个数,所以中间的编码几乎什么都没有。
前向(这一步) 选一层,查看它的数。
损失把重建出的图片 和原图 逐个像素地比较。最容易读懂的是 均方误差:相减,平方,求平均。
demo.py 里真正的自编码器训练 6 轮(epoch,一轮就是把全部 60,000 个训练数字过一遍),在笔记本电脑的 CPU 上
大约需要 12 秒,这包括这个自编码器和另一个模型。训练完后,在它从没见过的测试数字上,均方误差是每像素 0.044。
训练时,demo.py 用的是另一种重建损失。每个像素都在 0 和 1 之间,所以它把每个像素当成一个是/否
的回答,用第 3 关的二元交叉熵 ,再对 784 个像素求和。
它报告均方误差,只是因为这个数容易读懂。完美重建时,两种损失都是 0。
想自己运行的话,把 demo.py 下载到一个单独的文件夹里,在那里运行 python demo.py(配置)。
np.mean 对数组里的所有数求平均,** 对每个数求平方。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
因为编码是 2 个数,每个编码都是一张平面图上的一个点,而图上的每个点都是一张图:把它交给解码器, 它就会画出点什么。真实数字的编码落在这张图上的某些地方。要造一个新数字,你会随机挑一个点 来解码,用和真实编码相同的均值和标准差。
在平面图上拖动(也可以选中它,用方向键移动),选一个由 2 个数组成的编码。训练好的解码器会把它画出来,就在你的浏览器里。
正在加载训练好的解码器……
编码 (0.00, 0.00)
真实编码聚成一个个簇,每个数字一簇,簇之间有空隙。按 抽 200 个:大约三分之一的随机编码落在
离所有真实编码都很远的地方(那些叉)。实验台只保留了 400 个真实编码,所以空隙看起来比实际大;demo.py
用 4,000 个真实编码来比较,得到 11%。
损失里没有任何东西要求编码铺满整张图,也没有要求它们靠近某个中心:这个自编码器把它们散开,标准差是 5.2 和 3.9,
哪里重建最容易就放在哪里。空隙里的编码会解码成解码器从来不需要画的东西,所以普通自编码器编造出来的数字常常看起来很怪。
把十字拖到两个簇之间的空隙里,比如 1 和 0 之间。一路拖过去,解码器画出了什么? 然后按十次 随机编码,数一数它有几次落在空白区域。
变分自编码器(variational autoencoder,VAE)改了两件事。
第一,编码器给出的是一个范围,而不是一个点。 对每个编码数,它输出一个均值 μ 和一个标准差 σ。训练时,编码 从这个范围里随机抽取,用的是一个标准正态分布的数 ε(均值 0,标准差 1,见第 10 关):
这样解码器学会的是:对一整片邻近的编码都画出像样的图,而不只是某一个精确的点。
第二,一个惩罚项把每张图的范围都拉向标准正态分布 N(0, 1)。 它叫 KL 项。对一个编码数,
当且仅当 μ = 0 且 σ = 1 时它为 0;μ 离 0 越远,或者 σ 离 1 越远,它就越大。(ln 是自然对数;ln 1 = 0。)
一张图的总损失,是对它的 784 个像素求和的重建损失,加上对它的各个编码数求和的 KL 项。 重建这部分希望编码彼此远离、位置精确,这样两张不同的图永远不会得到同一个编码。 KL 这部分希望每个编码都靠近 0,标准差为 1。两者妥协的结果是:编码紧紧地挤在 0 附近,互相重叠,没有大的空隙。
两部分之间的平衡取决于那个求和。对 784 个像素求和后,典型的重建损失是几百, 而 2 个编码数的 KL 项只有几。
在平面图上拖动(也可以选中它,用方向键移动),选一个由 2 个数组成的编码。训练好的解码器会把它画出来,就在你的浏览器里。
正在加载训练好的解码器……
编码 (0.00, 0.00)
代价是图片稍微没那么清晰:VAE 的测试损失是每像素 0.046,普通自编码器是 0.044。
换来的是,从 N(0, 1) 抽的随机编码几乎总能解码成像数字的东西。再按一次 抽 200 个:大约
七分之一的随机编码落在离所有真实编码都很远的地方,而普通自编码器大约是三分之一。(demo.py 用
4,000 个真实编码,得到 1% 对 11%。)
训练需要损失对 μ 和 σ 的梯度(第 6 关)。“从均值为 μ、标准差为 σ 的正态分布里随机抽一个 z” 没有斜率,因为中间有一次随机抽取。写成 ,就把随机性挪到了 ε 里,而 ε 不依赖于任何东西。 于是 ,,反向传播照常进行。 这种改写叫重参数化技巧(reparameterization trick)。在代码里,编码器通常输出 而不是 σ,这样它输出任何数都能得到一个有效的 σ(总是正的)。
现在写出采样步骤。* 和 + 在形状相同的数组上逐个数地运算。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
最后,一张图的完整 VAE 损失。np.log 是自然对数 ln。.sum() 把数组里的所有数加起来。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
图像生成器不会在几百万个像素上做扩散(支线 D1)。它们先训练一个自编码器,然后在 小小的编码上加噪声、去噪声,最后再解码。在支线 D3 里,一个 784 像素的数字变成 16 个数的编码:要去噪的数少了 49 倍。
有两个细节把这一关和 D3 联系起来。第一,真正的图像模型用的是 VAE 式的编码器,带一个小的 KL 项,所以它们的编码 很平滑,大小约为 1。扩散(D1)假设信号的方差大约是 1,所以在加噪声之前,编码也会被缩放到标准差为 1。 第二,它们的编码不是一个扁平的列表:一张大图会变成一小格一小格的编码网格(比如 64 × 64 个位置,每个位置 4 个数),所以 D3 里把图切成图块的想法,对编码同样适用。
名字一样,干的活不一样。这里,编码器把一张图压缩成编码,解码器再从编码重建这张图。 在 2017 年的 Transformer(支线 N7)里,编码器把源句子读成每个词一个向量,解码器一边看着它们一边写出一个新的 句子。两者都没有把任何东西挤过瓶颈。
通关后,这里会显示关键公式和常见错误。
np.mean((x - x_hat) ** 2)按 ? 查看快捷键