2. 看着 50 步走完
现在换成一个真正训练好的网络。它学过三种形状:螺旋、圆环和双月。
每个点都从随机噪声开始。按几次 走一步,再按 播放。右边的数字跟着高亮的那个点走完每一步。
t = 50 / 50
每个点都从随机噪声开始。按“走一步”。
加载中…
目标形状 第 t 步的点 我们跟踪的点
我卡在这里了 明明在去噪声,为什么还要加回新噪声?这不是走反了吗?
噪声猜测从来都不精确。它是网络给出的最佳平均猜测,而平均值总比任何一个具体答案更模糊。
在这个采样器里,如果你只减不加,每个点都会朝“平均”答案移动,样本会挤到形状的中间,
或者全落在少数几个地方。
原因就在公式里:上面的均值是为一个会加新噪声的步骤推出来的。每一步加一点点,
能让这些点保持和真实数据一样散开。加的量随着 t 变小而变小,到最后一步就一点也不加了。
在螺旋上试试“走到底”:这些点会沿着整条旋臂散开,而不是挤在几个地方。
也有一点噪声都不加的采样器。它们用的是另一个专门为此设计的步骤公式。
深入一点 一步公式是从哪来的
正向走一步是 x_t = √α_t · x_(t−1) + √β_t · noise。要往回走,你想知道已知 x_t 时的 x_(t−1)。
如果你还知道干净的点 x_0,这个问题有精确的答案:x_(t−1) 服从一个高斯(正态)分布,
中心是 x_t 和 x_0 的加权混合。你不知道 x_0,但支线 D1 讲过怎样由 x_t 和噪声猜测去猜它。
把这个猜测代进混合里,化简,各项整理后就是上面的均值。
这个均值周围的标准差本应比 √β_t 稍小一点,但实际上直接用 √β_t 效果一样好,而且更简单。
3. 点名要一个形状
这个网络训练时带着标签:“这个点来自螺旋”,“这个点来自圆环”。
20% 的训练样本把标签藏了起来。所以同一个网络可以给出两个猜测:
ε_free:不带标签的噪声猜测。它只知道“某种形状”。
ε_shape:告诉它是哪种形状时的噪声猜测。
引导(guidance)把两者混起来:
ε^=εfree+w(εshape−εfree)
w = 0 不管标签。
w = 1 原样使用带标签的猜测。
w > 1 越过它,朝着让点“更像这个形状”的方向推得更远。
先猜一猜试之前先猜一猜:w 非常大,比如 10 的时候,样本会怎样?
采样中…
真实形状 这个 w 下的样本 落在形状上:离形状不到 0.15 的样本 形状覆盖:形状上 0.15 以内有样本的部分 曲线是用 120 个点快速跑出来的,所以和上面两个方框里的数略有不同
w = 1 时形状不太清晰。对这么小的网络来说这很正常。把 w 往上拖,看形状变清晰。
动手试试
选圆环,把 w 从 0 拖到 10。两个数都盯着:“落在形状上”先升后降,
而 w 超过大约 3 以后,“形状覆盖”开始下降。找一个让两者平衡得比较好的 w。
对螺旋也是同一个 w 吗?
最后一块就是引导的混合本身。
代码写出引导的混合。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
现在把两半合起来。带引导的往回一步就是:混合两个噪声猜测,再用混合后的猜测走第 1 节的反向一步。
实验台做的正是这件事,做 50 次。
代码写出带引导的往回一步,从 x 到下一个 x,引导权重为 w。z 是新噪声(最后一步为全零)。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
现在你能从纯噪声画出指定的形状了。在支线 D3 里,这些点会变成图片,
而猜噪声的网络是一个 Transformer。