到目前为止,每个点都是 2 个数。一张手写数字的灰度小图是 28 × 28 = 784 个数。
支线 D1 和 D2 里没有任何东西依赖于一个点有几个数。加噪声、猜噪声、往回走:公式全都一样,只是现在一次作用在 784 个数上。
变的是猜噪声的网络。它得看着一整张图,对每个像素说出其中有多少是噪声。
一笔从一个角落开始,会延续到别的地方,所以图的每一部分都需要知道其他部分的情况。
专门为这件事打造的工具你已经见过了:第 14 关的注意力。
你需要: 支线 D1–D2,以及注意力和 Transformer 块(第 14–16 关)。
第 3 节用到支线 N6 的自编码器;需要的部分会讲到,完整内容在 N6 里。
1. 把图片当成一句话
Transformer 读的是一串 token。所以我们把图片切成方形的图块(patch),排成一行:
从左到右,再从上到下。每个图块变成一个 token:它的像素排成一行。
图块大小 2 的意思是每个图块是 2 × 2 像素。下面是一张 4 × 4 的图片,里面是 0 到 15 这些数,切成大小为 2 的图块:
0 1 | 2 3 token 0: [ 0, 1, 4, 5]
4 5 | 6 7 token 1: [ 2, 3, 6, 7]
------+------ → token 2: [ 8, 9, 12, 13]
8 9 | 10 11 token 3: [10, 11, 14, 15]
12 13 | 14 15
四个图块,每个四个像素,所以 token 矩阵是 (4, 4)。
注意:“图块大小 2”不是“切成 2 × 2 的网格”。在这张 4 × 4 的图上,两种理解碰巧都得到
四个四像素的图块,所以这个例子分不出来。在 6 × 6 的图上它们就不一样了。试试看。
真实的数字图片更大,同样的数法就更有意思了。
选择在 28 × 28 的图片上,把图块大小从 4 改成 2。每一层的注意力分数个数会怎样?
现在换成一个真正的数字。指向或点一下某个图块,找到它的 token;或者点一个 token,找到它的图块。改变图块大小,看 token 的个数怎样变。
图块大小为 7 时 DiT 的内部
| 图片 | (28, 28) | 784 个数 |
| 切成图块 | (16, 49) | 16 个 token,每个 49 个数 |
| @ W_in | (49, 96) → (?, ?) | 每个图块变成一个 token 向量 |
| + 位置 | (?, ?) | 哪个图块在哪里 |
| + 步数 t 和标签 | (96) 加到每个 token 上 | 和 D1–D2 一样,只是换成了向量 |
| Transformer 块 | (?, ?) → (?, ?) | 每个头的注意力分数:?(先回答下面的问题) |
| @ W_out | (96, 49) → (16, 49) | 每个图块一个噪声猜测 |
| 把图块拼回去 | (28, 28) | 整张图片的噪声猜测 |
16 个图块 → 16 个 token,每个 49 个数。选一个图块来跟踪它。
自己写出切图的代码,分两步。首先,reshape 可以把图片的每个轴拆成
(哪一块,块里的哪个像素)。对 4 × 4 的图片、图块大小 2:
x4 = img.reshape(2, 2, 2, 2) # 轴:(块的行号, 块内的行, 块的列号, 块内的列)
x4[0, :, 1, :] # 第 0 行块、第 1 列块 → [[2, 3], [6, 7]],右上角的图块
写出任意图片大小和图块大小下的这几个尺寸:
代码图块大小为 p 时,把 (H, W) 图片的每个轴拆成(哪一块,块里的哪个像素)。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
现在一个图块是 x4[i, :, j, :],但两个块轴 i 和 j 在位置 0 和 2。
要按顺序列出图块,它们必须排在最前面。transpose 会重新排列轴:a.transpose(1, 0) 交换一张表的两个轴,
x4.transpose(0, 2, 1, 3) 给出新顺序:轴 0、轴 2、轴 1、轴 3,于是形状变成
(块的行号,块的列号,块内的行,块内的列)。之后再 reshape 成(图块数,p · p),就把每个图块压平了。
代码写出 patchify:(H, W) 的图片 → (图块数, p·p),图块从左到右、再从上到下排列。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
图片一旦变成一串 token,任何 Transformer 都能读它。
实验台下面的表格就是整个模型。图块进去,每个图块出来一个噪声猜测。
中间就是你在第 16 关搭的那种 pre-norm 块:注意力、前馈网络、LayerNorm、残差。它没有因果掩码,
因为它不是一次写一个 token 地生成序列:每个图块都可以看所有其他图块。
新东西只有两样:步数 t 和标签(要画哪个数字)被变成向量,加到每个 token 上。
我卡在这里了 为什么要用 Transformer?支线 D1 里那个小网络不是挺好用的吗?
在支线 D1 里,每个点是 2 个数,网络可以同时看到两个。
一张图是 784 个数。一个把每个像素都连到每个像素的普通网络,第一层会非常大,而且它不知道第 30 个像素就在第 2 个像素正下方。
图块让相邻的像素待在一起。注意力再让每个图块去问其他每个图块:“那边画了什么?”
这正是猜噪声需要问的问题:一个淡灰色的像素,如果旁边有笔画延续过来,它就是墨迹;如果没有,它就是噪声。
深入一点 真实的模型怎样把 t 和标签交给网络
我们的小模型只是把一个由 t 和标签算出来的向量加到每个 token 上。这样就能用。
更大的模型做得更强。它们由 t 和标签为每个块里的每个 LayerNorm 算出一个缩放和一个平移,
这样步数和标签就能让网络各处的整个特征变大或变小。很多模型还把这些缩放初始化为零,
于是每个块一开始都是“什么也不做”,训练再慢慢让它起作用。
其余部分就是普通的 Transformer:同样的块,堆得更深,图块更多。
图块对小小的数字图片管用。大图片还需要再多一个想法。
3. 在更小的空间里做扩散
大图片让这件事变得很贵。一张 512 × 512 的彩色图片,每个像素有 3 个数(红、绿、蓝),所以是 512 × 512 × 3 = 786,432 个数。切成大小为 8 的图块,就是 64 × 64 = 4,096 个 token,
而注意力要把其中每一个和其他每一个都比一遍。
解决办法是先把图片压小。
做这件事的工具你在支线 N6 里搭过:自编码器(autoencoder)。它是一起训练的两个网络。
编码器把一张图片压成几个数,也就是编码。解码器把编码变回一张图片。
训练的目标是让还原出来的图片和送进去的那张一致。
然后你在编码上而不是在像素上跑完支线 D1 和 D2 的全部内容,只在最后解码一次。
下面的实验台用一个小自编码器,把每个数字压成 16 个数。
在往编码里加噪声之前,有一个细节很重要。支线 D1 的公式只有在干净数据的方差为 1 时,
才能让方差保持在 1。这个普通自编码器给出的编码要大得多:它们的标准差大约是 4,所以有些编码会达到 ±10。
所以做法是:编码,除以编码的标准差,在缩放后的编码上跑 D1 和 D2,乘回去,解码。
支线 N6 也讲过为什么自编码器的种类很重要。普通的自编码器会在编码之间留下空洞;VAE 训练时带一个
小的 KL 项,能让编码保持平滑,大小接近 1。图像生成器正因为这个原因使用 VAE 风格的编码器,
这样扩散落到编码空间的任何地方,都还能解码出一张像样的图片。
深入一点 真实的潜变量长什么样
我们的编码是一列平平的 16 个数。大型图像模型里的编码器保留的是一个小网格:
比如一张 512 × 512 的彩色图片变成 64 × 64 的网格,每格 4 个数。这个网格再像第 1 节里的像素那样
切成图块,DiT 把这些图块当作 token 来读。所以这一关的两个想法是配合使用的:
先压缩,再把压缩后的网格切成图块。
直接在像素上做扩散也可以,下面的 Boss 关就是这样;只是对大图片来说更贵。
这个实验台还会从一个数字走到另一个数字:一次是混合像素,一次是混合那 16 个数的编码。先猜一猜。
选择一个自编码器把每张 28 × 28 的数字图片变成 16 个数的编码,它的解码器再把编码变回图片。取一个 3 和一个 7,从一个走到另一个,走到一半。混合像素得到的结果,和混合两个编码再解码得到的结果相比,是怎样的?
动手试试
把滑块从 3 慢慢拖到 7。左边是两个叠在一起的淡淡的数字。右边是一个在变形的数字。
这 16 个数描述的是画了什么,而不是每个像素在哪里。所以在编码上工作的扩散模型,花少得多的力气就能生成干净的图片。
现在每一块你都有了。Boss 关把它们拼起来。
4. Boss 关,第 1 部分:写出完整的采样器
这里有一个数据集:一个圆环上的 8 个点。对这么小的数据集,你可以直接写出完美的猜噪声函数 eps_exact,完全不用训练。
你的任务是写出那个把随机点变成圆环上的点的循环(代码打印 8 个样本;测试会采 300 个):用支线 D2 的反向一步,从 T 一直走到 1,最后一步不加新噪声。
代码写出采样循环。eps_exact 是这个 8 点圆环的完美噪声猜测。每个样本都必须落在 8 个点中的某一个上,而且 8 个点都要出现。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
5. Boss 关,第 2 部分:在你的电脑上画数字
这一部分在你的电脑上运行。第一次在本地运行 Python?先看安装页。
把 boss.py 下载到一个单独的文件夹里,所有命令都在那个文件夹里运行。
打开 boss.py。有三个函数标着 TODO,每一个都是你已经在浏览器里做过的一步:
add_noise:支线 D1 里的那一行,
guide:支线 D2 里的引导混合,
step_back:支线 D2 里的反向一步,最后一步不加新噪声。你刚在第 1 部分用 NumPy 写过它;
在 PyTorch 里,新噪声是 torch.randn_like(x)。
其余的都已经替你写好了:数字图片(只下载一次,大约 10 MB)、第 2 节里的小 DiT、
训练循环,还有检查。
python boss.py
脚本先用支线 D1 和 D2 里的小数字测试你的三个函数,所以出错的话几秒钟就能看到。
然后它用你的 add_noise 训练 STEPS = 8000 步(在我们的笔记本上大约两分钟,慢一点的电脑上会更久),
用你的 guide 和 step_back 给每个数字画 8 张图,存成 my_digits.png(每个数字一行,
0 在最上面),再把它们交给另一个独立的数字分类器。分类器把你那 80 张图里至少 70% 认成你要的数字,
你就通过了 Boss 关。脚本随后会打印一行以 D3 PASS 开头的文字。
正确的解法在笔记本上大约能得 85–90%;具体的数取决于这一次运行。如果小检查都通过了,分数却一直低于 70%,就打开
my_digits.png,然后调大 boss.py 顶部附近的 STEPS,再跑一次。把 D3 PASS 那一行粘贴到这里。行末的代码只能说明你原样粘贴了它;这一部分靠你的诚实。
第 1 部分(本页的采样器)和这一行都通过后,这一关就算通关。
代码Boss 关第 2 部分。把 boss.py 针对你自己写的 add_noise、guide 和 step_back 打印出的 PASS 那一行,粘贴到引号之间。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
没有参考答案可以下载:Boss 关本身就是测试。如果卡住了,回到 boss.py 顶部的小检查。
你的三个函数,每一个都是支线 D1 或 D2 里的一个公式。
为了几分钟就能跑完,这个 Boss 关直接在 784 个像素上做扩散。在第 3 节那样缩放后的编码上跑同样的循环,
最后再解码,就是大型图像模型处理大图片的方式。训练时有 10% 的时间把标签藏起来;
D2 的模型藏了 20%。从大约 10% 到 20% 都可以。
在这 8000 步里,损失从大约 0.14 降到大约 0.064。这远远低于支线 D1 里 0.32 的下限,因为那个下限
取决于数据。一个数字里相邻的像素能很强地互相预测,所以一个加噪的数字比一个加噪的螺旋点
暴露出多得多的噪声信息。
然后试试
把 main 末尾附近调用 guide 时的 3.0 改成 0,再改成 8,每次运行后都打开 my_digits.png。改成 0 时,一行里会出现错的数字,分数也会
下降。改成 8 时,一行里的每个数字都长得一样,而且更粗。这就是支线 D2 里准确和多样之间的取舍,
现在换到了图片上。