第 N6 关 · 基础 · 经典网络 · 在浏览器里运行
English

自编码器与 VAE

网络能不能学会把一张图压成几个数,再还原回来?

支线 · 最好在之后学: 第 10 · 概率与采样 关

一个手写数字是 784 个数,但其中大部分数都是可以预料的:深色的背景,一笔朝某个方向弯过去。 最少要几个数才够描述它?这一关训练一个网络,把一个数字压成 2 个数,再从这 2 个数把它重建出来。 这几个数叫作编码(code,也叫潜变量,latent)。同样的想法让图像生成器可以在很小的编码上工作, 而不是在几百万个像素上(支线 D3)。

1. 压缩,再重建

自编码器(autoencoder)是两个前后相接的小网络:

  1. 编码器把 784 个像素 → 128 个隐藏的数 → 一个 2 个数的编码;
  2. 解码器把 2 个数的编码 → 128 → 784 个像素,每个都在 0 和 1 之间。

中间那段窄的地方叫瓶颈(bottleneck)。解码器关于这张图知道的一切,都必须从这里穿过。

数字 一张 28×28 的图片有 784 个数。编码有 2 个数。编码的数少了多少倍?

批的用法和第 5 关一样:一批图片是一张表,每张图片一行,每一层都是 X @ W + b。

形状 一批 32 张图片的形状是 (32, 784)。编码器把每张图片变成一个 2 个数的编码。这批编码是什么形状?
我卡在这里了 既然目标就是输入本身,网络为什么不能直接把它复制过去?

能复制的话它会的:复制能让损失为 0。瓶颈不允许这样。784 个数没法原样穿过 2 个数,所以编码器 必须留下最重要的东西(是哪个数字、斜得多厉害、笔画多粗),丢掉其余的。没有人告诉它什么重要; 由最小化重建损失来决定。整个过程都不用标签:图片就是它自己的目标值。

2. 训练:重建输入

这是整个自编码器。每个方块里,每个数占一格。

把 784 个数挤过 2 个数

按“下一步”,跟着一张图片穿过网络。

拖动旋转 · 点一下后用滚轮缩放
按“下一步”开始。 · 一共 202,258 个参数
层(5)

看大小:每个块的格数就是它的数的个数,所以中间的编码几乎什么都没有。

前向(这一步) 选一层,查看它的数。

损失把重建出的图片 x^\hat{x} 和原图 xx 逐个像素地比较。最容易读懂的是 均方误差:相减,平方,求平均。

数字 一张 4 像素的图片 x = [1, 0, 1, 1] 被重建成 x̂ = [0.5, 0, 1, 0.5]。均方误差是多少?

demo.py 里真正的自编码器训练 6 轮(epoch,一轮就是把全部 60,000 个训练数字过一遍),在笔记本电脑的 CPU 上 大约需要 12 秒,这包括这个自编码器和另一个模型。训练完后,在它从没见过的测试数字上,均方误差是每像素 0.044。

训练时,demo.py 用的是另一种重建损失。每个像素都在 0 和 1 之间,所以它把每个像素当成一个是/否 的回答,用第 3 关的二元交叉熵 −(xln⁡x^+(1−x)ln⁡(1−x^))-(x \ln \hat{x} + (1 - x)\ln(1 - \hat{x})),再对 784 个像素求和。 它报告均方误差,只是因为这个数容易读懂。完美重建时,两种损失都是 0。 想自己运行的话,把 demo.py 下载到一个单独的文件夹里,在那里运行 python demo.py(配置)。

np.mean 对数组里的所有数求平均,** 对每个数求平方。

代码写出图片 x 和它的重建 xₕₐₜ 之间的均方误差(两者都是形状相同的 NumPy 数组)。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

3. 在编码空间里走一走

因为编码是 2 个数,每个编码都是一张平面图上的一个点,而图上的每个点都是一张图:把它交给解码器, 它就会画出点什么。真实数字的编码落在这张图上的某些地方。要造一个新数字,你会随机挑一个点 来解码,用和真实编码相同的均值和标准差。

先猜一猜看之前先猜:你用和真实数字编码相同的均值和标准差,随机抽 1,000 个编码。有多少个会落在离所有真实数字编码都很远的地方?

编码空间:每个点都是一张图

在平面图上拖动(也可以选中它,用方向键移动),选一个由 2 个数组成的编码。训练好的解码器会把它画出来,就在你的浏览器里。

正在加载训练好的解码器……

解码器画出的图

编码 (0.00, 0.00)

正在加载……
400 个真实测试数字的编码 3每个数字的平均编码 这个模型的编码的 1 倍和 2 倍标准差,你会从这里抽随机编码 你的编码 高亮的点:离你的编码最近的那个数字。

真实编码聚成一个个簇,每个数字一簇,簇之间有空隙。按 抽 200 个:大约三分之一的随机编码落在 离所有真实编码都很远的地方(那些叉)。实验台只保留了 400 个真实编码,所以空隙看起来比实际大;demo.py 用 4,000 个真实编码来比较,得到 11%。 损失里没有任何东西要求编码铺满整张图,也没有要求它们靠近某个中心:这个自编码器把它们散开,标准差是 5.2 和 3.9, 哪里重建最容易就放在哪里。空隙里的编码会解码成解码器从来不需要画的东西,所以普通自编码器编造出来的数字常常看起来很怪。

动手试试

把十字拖到两个簇之间的空隙里,比如 1 和 0 之间。一路拖过去,解码器画出了什么? 然后按十次 随机编码,数一数它有几次落在空白区域。

4. VAE:铺满空间的编码

变分自编码器(variational autoencoder,VAE)改了两件事。

第一,编码器给出的是一个范围,而不是一个点。 对每个编码数,它输出一个均值 μ 和一个标准差 σ。训练时,编码 从这个范围里随机抽取,用的是一个标准正态分布的数 ε(均值 0,标准差 1,见第 10 关):

z=μ+σ⋅εz = \mu + \sigma \cdot \varepsilon
数字 VAE 的编码器对某一个编码数给出 μ = 1 和 σ = 0.5。随机抽到的是 ε = −2。编码 z = μ + σ·ε 是多少?

这样解码器学会的是:对一整片邻近的编码都画出像样的图,而不只是某一个精确的点。

第二,一个惩罚项把每张图的范围都拉向标准正态分布 N(0, 1)。 它叫 KL 项。对一个编码数,

KL=12(μ2+σ2−1−ln⁡σ2)\text{KL} = \tfrac{1}{2}\left(\mu^2 + \sigma^2 - 1 - \ln \sigma^2\right)

当且仅当 μ = 0 且 σ = 1 时它为 0;μ 离 0 越远,或者 σ 离 1 越远,它就越大。(ln 是自然对数;ln 1 = 0。)

数字 用 KL = ½(μ² + σ² − 1 − ln σ²)。对一个编码数,μ = 2,σ = 1(所以 ln σ² = ln 1 = 0)。KL 项是多少?

一张图的总损失,是对它的 784 个像素求和的重建损失,加上对它的各个编码数求和的 KL 项。 重建这部分希望编码彼此远离、位置精确,这样两张不同的图永远不会得到同一个编码。 KL 这部分希望每个编码都靠近 0,标准差为 1。两者妥协的结果是:编码紧紧地挤在 0 附近,互相重叠,没有大的空隙。

两部分之间的平衡取决于那个求和。对 784 个像素求和后,典型的重建损失是几百, 而 2 个编码数的 KL 项只有几。

选择有人把 VAE 的损失写成:重建误差对 784 个像素取平均(而不是求和),再加上 KL 项。训练时会发生什么?
选择在 demo.py 里,普通自编码器的随机编码有 11% 落在离所有真实编码都很远的地方(在实验台里大约三分之一,因为它保留的编码更少)。VAE 从 N(0, 1) 抽随机编码。它们有多大比例落在离所有真实编码都很远的地方?

编码空间:每个点都是一张图

在平面图上拖动(也可以选中它,用方向键移动),选一个由 2 个数组成的编码。训练好的解码器会把它画出来,就在你的浏览器里。

正在加载训练好的解码器……

解码器画出的图

编码 (0.00, 0.00)

正在加载……
400 个真实测试数字的编码 3每个数字的平均编码 这个模型的编码的 1 倍和 2 倍标准差,你会从这里抽随机编码 你的编码 高亮的点:离你的编码最近的那个数字。

代价是图片稍微没那么清晰:VAE 的测试损失是每像素 0.046,普通自编码器是 0.044。 换来的是,从 N(0, 1) 抽的随机编码几乎总能解码成像数字的东西。再按一次 抽 200 个:大约 七分之一的随机编码落在离所有真实编码都很远的地方,而普通自编码器大约是三分之一。(demo.py 用 4,000 个真实编码,得到 1% 对 11%。)

深入一点 为什么要把采样写成 μ + σ·ε?

训练需要损失对 μ 和 σ 的梯度(第 6 关)。“从均值为 μ、标准差为 σ 的正态分布里随机抽一个 z” 没有斜率,因为中间有一次随机抽取。写成 z=μ+σεz = \mu + \sigma \varepsilon,就把随机性挪到了 ε 里,而 ε 不依赖于任何东西。 于是 ∂z/∂μ=1\partial z/\partial \mu = 1,∂z/∂σ=ε\partial z/\partial \sigma = \varepsilon,反向传播照常进行。 这种改写叫重参数化技巧(reparameterization trick)。在代码里,编码器通常输出 ln⁡σ2\ln \sigma^2 而不是 σ,这样它输出任何数都能得到一个有效的 σ(总是正的)。

现在写出采样步骤。* 和 + 在形状相同的数组上逐个数地运算。

代码写出 VAE 的采样步骤:给定数组 mu、sigma 和一个标准正态分布的抽样 eps(形状都一样),返回编码。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

最后,一张图的完整 VAE 损失。np.log 是自然对数 ln。.sum() 把数组里的所有数加起来。

代码写出一张图的 VAE 损失:每个像素的二元交叉熵求和,加上每个编码数的 KL 项求和。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

5. 接下来会用到哪里

图像生成器不会在几百万个像素上做扩散(支线 D1)。它们先训练一个自编码器,然后在 小小的编码上加噪声、去噪声,最后再解码。在支线 D3 里,一个 784 像素的数字变成 16 个数的编码:要去噪的数少了 49 倍。

有两个细节把这一关和 D3 联系起来。第一,真正的图像模型用的是 VAE 式的编码器,带一个小的 KL 项,所以它们的编码 很平滑,大小约为 1。扩散(D1)假设信号的方差大约是 1,所以在加噪声之前,编码也会被缩放到标准差为 1。 第二,它们的编码不是一个扁平的列表:一张大图会变成一小格一小格的编码网格(比如 64 × 64 个位置,每个位置 4 个数),所以 D3 里把图切成图块的想法,对编码同样适用。

我卡在这里了 这和 Transformer 里的编码器、解码器是同一个东西吗?

名字一样,干的活不一样。这里,编码器把一张图压缩成编码,解码器再从编码重建这张图。 在 2017 年的 Transformer(支线 N7)里,编码器把源句子读成每个词一个向量,解码器一边看着它们一边写出一个新的 句子。两者都没有把任何东西挤过瓶颈。

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 跟着形状走一遍自编码器:(B, 784) → (B, 2) 的编码 → (B, 784) 的像素。
  • 手算重建损失和 VAE 的 KL 项。
  • 用 NumPy 写出 VAE 的采样步骤和完整的损失。

要记住

  • 均方误差:np.mean((x - x_hat) ** 2)
  • 采样:,其中 ε 来自 N(0, 1)
  • ,当且仅当 μ = 0 且 σ = 1 时为 0
  • VAE 的损失:对所有像素求和的重建损失 + 对所有编码数求和的 KL

常见错误

  • 把重建损失对像素取平均:这样 KL 项会占上风,每个编码都解码成同一个模糊的数字。
  • 指望普通自编码器的随机编码也能解码得很好:它们常常落在各个簇之间的空隙里。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星