第 D3 关 · 原理 · 扩散模型 · 在浏览器里运行 · 最后一部分在你的电脑上
English

潜空间与 DiT

图像生成为什么又回到了 Transformer?

支线 · 最好在之后学: 第 16 · Transformer 组件 关

Boss 关

亲手写出完整的采样器,在浏览器里生成指定的形状。然后在你的电脑上完成 boss.py:你自己写的加噪、引导和反向一步,要让一个小 Transformer 画出另一个分类器认得出的数字。

到目前为止,每个点都是 2 个数。一张手写数字的灰度小图是 28 × 28 = 784 个数。 支线 D1 和 D2 里没有任何东西依赖于一个点有几个数。加噪声、猜噪声、往回走:公式全都一样,只是现在一次作用在 784 个数上。

变的是猜噪声的网络。它得看着一整张图,对每个像素说出其中有多少是噪声。 一笔从一个角落开始,会延续到别的地方,所以图的每一部分都需要知道其他部分的情况。 专门为这件事打造的工具你已经见过了:第 14 关的注意力。

你需要: 支线 D1–D2,以及注意力和 Transformer 块(第 14–16 关)。 第 3 节用到支线 N6 的自编码器;需要的部分会讲到,完整内容在 N6 里。

1. 把图片当成一句话

Transformer 读的是一串 token。所以我们把图片切成方形的图块(patch),排成一行: 从左到右,再从上到下。每个图块变成一个 token:它的像素排成一行。

图块大小 2 的意思是每个图块是 2 × 2 像素。下面是一张 4 × 4 的图片,里面是 0 到 15 这些数,切成大小为 2 的图块:

 0  1 |  2  3          token 0: [ 0,  1,  4,  5]
 4  5 |  6  7          token 1: [ 2,  3,  6,  7]
------+------    →     token 2: [ 8,  9, 12, 13]
 8  9 | 10 11          token 3: [10, 11, 14, 15]
12 13 | 14 15

四个图块,每个四个像素,所以 token 矩阵是 (4, 4)。

注意:“图块大小 2”不是“切成 2 × 2 的网格”。在这张 4 × 4 的图上,两种理解碰巧都得到 四个四像素的图块,所以这个例子分不出来。在 6 × 6 的图上它们就不一样了。试试看。

形状 把一张 6 × 6 的图片切成大小为 2 的图块(每个图块 2 × 2 像素)。token 矩阵(token 数,每个 token 的数的个数)的形状是什么?

真实的数字图片更大,同样的数法就更有意思了。

数字 把一张 28 × 28 的数字图片切成大小为 7 的图块(每个图块 7 × 7 像素)。一共有多少个 token?
选择在 28 × 28 的图片上,把图块大小从 4 改成 2。每一层的注意力分数个数会怎样?

现在换成一个真正的数字。指向或点一下某个图块,找到它的 token;或者点一个 token,找到它的图块。改变图块大小,看 token 的个数怎样变。

把图片切成图块:每个图块变成一个 token

选一个图块大小。指向、点一下或用方向键浏览图块,看每个图块变成哪个 token。

图片,切成 16 个 7 × 7 像素的图块
token:形状 (16, 49),每个图块一行
图块大小为 7 时 DiT 的内部
图片(28, 28)784 个数
切成图块(16, 49)16 个 token,每个 49 个数
@ W_in(49, 96) → (?, ?)每个图块变成一个 token 向量
+ 位置(?, ?)哪个图块在哪里
+ 步数 t 和标签(96) 加到每个 token 上和 D1–D2 一样,只是换成了向量
Transformer 块(?, ?) → (?, ?)每个头的注意力分数:?(先回答下面的问题)
@ W_out(96, 49) → (16, 49)每个图块一个噪声猜测
把图块拼回去(28, 28)整张图片的噪声猜测
图块大小
16 个图块 → 16 个 token,每个 49 个数。选一个图块来跟踪它。

自己写出切图的代码,分两步。首先,reshape 可以把图片的每个轴拆成 (哪一块,块里的哪个像素)。对 4 × 4 的图片、图块大小 2:

x4 = img.reshape(2, 2, 2, 2)    # 轴:(块的行号, 块内的行, 块的列号, 块内的列)
x4[0, :, 1, :]                  # 第 0 行块、第 1 列块 → [[2, 3], [6, 7]],右上角的图块

写出任意图片大小和图块大小下的这几个尺寸:

代码图块大小为 p 时,把 (H, W) 图片的每个轴拆成(哪一块,块里的哪个像素)。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

现在一个图块是 x4[i, :, j, :],但两个块轴 i 和 j 在位置 0 和 2。 要按顺序列出图块,它们必须排在最前面。transpose 会重新排列轴:a.transpose(1, 0) 交换一张表的两个轴, x4.transpose(0, 2, 1, 3) 给出新顺序:轴 0、轴 2、轴 1、轴 3,于是形状变成 (块的行号,块的列号,块内的行,块内的列)。之后再 reshape 成(图块数,p · p),就把每个图块压平了。

代码写出 patchify:(H, W) 的图片 → (图块数, p·p),图块从左到右、再从上到下排列。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

图片一旦变成一串 token,任何 Transformer 都能读它。

2. DiT:一个猜噪声的 Transformer

实验台下面的表格就是整个模型。图块进去,每个图块出来一个噪声猜测。 中间就是你在第 16 关搭的那种 pre-norm 块:注意力、前馈网络、LayerNorm、残差。它没有因果掩码, 因为它不是一次写一个 token 地生成序列:每个图块都可以看所有其他图块。 新东西只有两样:步数 t 和标签(要画哪个数字)被变成向量,加到每个 token 上。

形状 在 28 × 28 的数字图片上用大小为 4 的图块,得到 49 个 token,每个 16 个数。Wᵢₙ 是 (16, 96)。tokens @ Wᵢₙ 的形状是什么?
数字 有 49 个 token 时,一个头在一层里要算多少个注意力分数?
我卡在这里了 为什么要用 Transformer?支线 D1 里那个小网络不是挺好用的吗?

在支线 D1 里,每个点是 2 个数,网络可以同时看到两个。 一张图是 784 个数。一个把每个像素都连到每个像素的普通网络,第一层会非常大,而且它不知道第 30 个像素就在第 2 个像素正下方。

图块让相邻的像素待在一起。注意力再让每个图块去问其他每个图块:“那边画了什么?” 这正是猜噪声需要问的问题:一个淡灰色的像素,如果旁边有笔画延续过来,它就是墨迹;如果没有,它就是噪声。

深入一点 真实的模型怎样把 t 和标签交给网络

我们的小模型只是把一个由 t 和标签算出来的向量加到每个 token 上。这样就能用。

更大的模型做得更强。它们由 t 和标签为每个块里的每个 LayerNorm 算出一个缩放和一个平移, 这样步数和标签就能让网络各处的整个特征变大或变小。很多模型还把这些缩放初始化为零, 于是每个块一开始都是“什么也不做”,训练再慢慢让它起作用。

其余部分就是普通的 Transformer:同样的块,堆得更深,图块更多。

图块对小小的数字图片管用。大图片还需要再多一个想法。

3. 在更小的空间里做扩散

大图片让这件事变得很贵。一张 512 × 512 的彩色图片,每个像素有 3 个数(红、绿、蓝),所以是 512 × 512 × 3 = 786,432 个数。切成大小为 8 的图块,就是 64 × 64 = 4,096 个 token, 而注意力要把其中每一个和其他每一个都比一遍。 解决办法是先把图片压小。

做这件事的工具你在支线 N6 里搭过:自编码器(autoencoder)。它是一起训练的两个网络。 编码器把一张图片压成几个数,也就是编码。解码器把编码变回一张图片。 训练的目标是让还原出来的图片和送进去的那张一致。

然后你在编码上而不是在像素上跑完支线 D1 和 D2 的全部内容,只在最后解码一次。 下面的实验台用一个小自编码器,把每个数字压成 16 个数。

数字 自编码器把 784 个像素压成 16 个数。扩散要处理的数少了多少倍?

在往编码里加噪声之前,有一个细节很重要。支线 D1 的公式只有在干净数据的方差为 1 时, 才能让方差保持在 1。这个普通自编码器给出的编码要大得多:它们的标准差大约是 4,所以有些编码会达到 ±10。

数字 这 16 个编码数的标准差大约是 4。支线 D1 的公式要求干净数据的方差为 1,也就是标准差为 1。你先把每个编码数都除以同一个数。是哪个数?

所以做法是:编码,除以编码的标准差,在缩放后的编码上跑 D1 和 D2,乘回去,解码。 支线 N6 也讲过为什么自编码器的种类很重要。普通的自编码器会在编码之间留下空洞;VAE 训练时带一个 小的 KL 项,能让编码保持平滑,大小接近 1。图像生成器正因为这个原因使用 VAE 风格的编码器, 这样扩散落到编码空间的任何地方,都还能解码出一张像样的图片。

深入一点 真实的潜变量长什么样

我们的编码是一列平平的 16 个数。大型图像模型里的编码器保留的是一个小网格: 比如一张 512 × 512 的彩色图片变成 64 × 64 的网格,每格 4 个数。这个网格再像第 1 节里的像素那样 切成图块,DiT 把这些图块当作 token 来读。所以这一关的两个想法是配合使用的: 先压缩,再把压缩后的网格切成图块。

直接在像素上做扩散也可以,下面的 Boss 关就是这样;只是对大图片来说更贵。

这个实验台还会从一个数字走到另一个数字:一次是混合像素,一次是混合那 16 个数的编码。先猜一猜。

选择一个自编码器把每张 28 × 28 的数字图片变成 16 个数的编码,它的解码器再把编码变回图片。取一个 3 和一个 7,从一个走到另一个,走到一半。混合像素得到的结果,和混合两个编码再解码得到的结果相比,是怎样的?

把一张图片压成 16 个数,再还原回来

一个训练好的自编码器给每张图片只留 16 个数。然后用两种方式从一个数字走到另一个数字。

正在加载训练好的自编码器…

加载中…
正的编码数 负的编码数
动手试试

把滑块从 3 慢慢拖到 7。左边是两个叠在一起的淡淡的数字。右边是一个在变形的数字。 这 16 个数描述的是画了什么,而不是每个像素在哪里。所以在编码上工作的扩散模型,花少得多的力气就能生成干净的图片。

现在每一块你都有了。Boss 关把它们拼起来。

4. Boss 关,第 1 部分:写出完整的采样器

这里有一个数据集:一个圆环上的 8 个点。对这么小的数据集,你可以直接写出完美的猜噪声函数 eps_exact,完全不用训练。 你的任务是写出那个把随机点变成圆环上的点的循环(代码打印 8 个样本;测试会采 300 个):用支线 D2 的反向一步,从 T 一直走到 1,最后一步不加新噪声。

代码写出采样循环。eps_exact 是这个 8 点圆环的完美噪声猜测。每个样本都必须落在 8 个点中的某一个上,而且 8 个点都要出现。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

5. Boss 关,第 2 部分:在你的电脑上画数字

这一部分在你的电脑上运行。第一次在本地运行 Python?先看安装页。 把 boss.py 下载到一个单独的文件夹里,所有命令都在那个文件夹里运行。

打开 boss.py。有三个函数标着 TODO,每一个都是你已经在浏览器里做过的一步:

  • add_noise:支线 D1 里的那一行,
  • guide:支线 D2 里的引导混合,
  • step_back:支线 D2 里的反向一步,最后一步不加新噪声。你刚在第 1 部分用 NumPy 写过它; 在 PyTorch 里,新噪声是 torch.randn_like(x)。

其余的都已经替你写好了:数字图片(只下载一次,大约 10 MB)、第 2 节里的小 DiT、 训练循环,还有检查。

python boss.py

脚本先用支线 D1 和 D2 里的小数字测试你的三个函数,所以出错的话几秒钟就能看到。 然后它用你的 add_noise 训练 STEPS = 8000 步(在我们的笔记本上大约两分钟,慢一点的电脑上会更久), 用你的 guide 和 step_back 给每个数字画 8 张图,存成 my_digits.png(每个数字一行, 0 在最上面),再把它们交给另一个独立的数字分类器。分类器把你那 80 张图里至少 70% 认成你要的数字, 你就通过了 Boss 关。脚本随后会打印一行以 D3 PASS 开头的文字。 正确的解法在笔记本上大约能得 85–90%;具体的数取决于这一次运行。如果小检查都通过了,分数却一直低于 70%,就打开 my_digits.png,然后调大 boss.py 顶部附近的 STEPS,再跑一次。把 D3 PASS 那一行粘贴到这里。行末的代码只能说明你原样粘贴了它;这一部分靠你的诚实。

第 1 部分(本页的采样器)和这一行都通过后,这一关就算通关。

代码Boss 关第 2 部分。把 boss.py 针对你自己写的 add_noise、guide 和 step_back 打印出的 PASS 那一行,粘贴到引号之间。

Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行

没有参考答案可以下载:Boss 关本身就是测试。如果卡住了,回到 boss.py 顶部的小检查。 你的三个函数,每一个都是支线 D1 或 D2 里的一个公式。

为了几分钟就能跑完,这个 Boss 关直接在 784 个像素上做扩散。在第 3 节那样缩放后的编码上跑同样的循环, 最后再解码,就是大型图像模型处理大图片的方式。训练时有 10% 的时间把标签藏起来; D2 的模型藏了 20%。从大约 10% 到 20% 都可以。

在这 8000 步里,损失从大约 0.14 降到大约 0.064。这远远低于支线 D1 里 0.32 的下限,因为那个下限 取决于数据。一个数字里相邻的像素能很强地互相预测,所以一个加噪的数字比一个加噪的螺旋点 暴露出多得多的噪声信息。

然后试试

把 main 末尾附近调用 guide 时的 3.0 改成 0,再改成 8,每次运行后都打开 my_digits.png。改成 0 时,一行里会出现错的数字,分数也会 下降。改成 8 时,一行里的每个数字都长得一样,而且更粗。这就是支线 D2 里准确和多样之间的取舍, 现在换到了图片上。

小结

通关后的总结

通关后,这里会显示关键公式和常见错误。

你现在会了

  • 用 reshape 和 transpose 把一张图片切成图块 token。
  • 根据图片大小和图块大小,数出 token 数和注意力分数的个数。
  • 写出完整的采样器:从 T 到 1 一步步反向走,最后一步不加新噪声。

要记住

  • 图块大小为 p 时,(H, W) 的图片 → (H/p · W/p, p · p);30 × 30、p = 5 → (36, 25)
  • 图块 token 分三步:x.reshape(H // p, p, W // p, p),然后 .transpose(0, 2, 1, 3),然后 .reshape(-1, p * p)
  • 每个头每一层的注意力分数个数 = token 数²:p 减半,token 变成 4 倍,分数变成 16 倍
  • 在编码上做扩散:编码,除以编码的标准差,跑 D1 和 D2,乘回去,解码

常见错误

  • 把“图块大小 2”理解成切成 2 × 2 的网格。它的意思是每个图块是 2 × 2 像素。
  • 最后一步也加了新噪声,或者忘了在最后一步把 x 设成均值。

按 ? 查看快捷键

阅读模式 · 实验台数值全部显示,不计星