为什么要开平方?
alpha-bar 是 0.36,可公式里信号乘的是 √0.36 = 0.6。两个都对,因为它们量的是不同的东西。 在第 10 关里,你用标准差来衡量一堆数散得有多开。标准差的平方是方差(variance),而 alpha-bar 数的正是方差: 信号的方差还剩 36%。把一个数乘以 0.6,它的方差就乘以 0.6² = 0.36。
剩下的归噪声。它的权重是 √(1 − 0.36) = √0.64 = 0.8,所以它的方差是 0.8² = 0.64。
这个和就是开平方的原因。两个权重的平方加起来,在每一步都等于 1。 所以如果干净数据的方差是 1,加噪后的数据在每一步的方差也是 1:这团点只是从“螺旋”变成“噪声”, 不会变大,也不会变小。真实的模型正是因此把数据缩放到方差为 1。 我们的螺旋方差大约是 0.6,所以它变成方差为 1 的噪声时,这团点会稍微变大一点。
现在对一个点算一算。取 x0 = [1, 2],噪声 eps = [0.5, -1]。
在 t = 3 时,√0.36 = 0.6,√(1 − 0.36) = 0.8。答完之后,把实验台切到 手算例子 · 3 步,拖到 t = 3,看这个点怎样移动。
我卡在这里了 为什么能直接跳到第 t 步?噪声不是得一步一步地加吗?
你可以一步一步地加,得到的结果是同一类的。 两份独立的正态噪声加起来,就是一份更大的正态噪声,所以 t 步可以合成一个公式。 这个捷径对训练很重要:要造一个第 37 步的训练样本,你不用真的跑 37 步。 算一次 alpha-bar,直接跳过去。
自己写出这个捷径。它对一个点或一整个数组的点都能用。
add_noise。ab 是 alpha-bar。它应该对一个点或一个点数组都能用。Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
现在把两部分合起来:从一列 beta 出发,返回第 t 步的加噪点。 三个 NumPy 小工具就够了:
betas[:t]取前 t 个 beta(位置 0 到 t − 1),所以第 t 步用的是第 1 步到第 t 步。1 - betas[:t]把它们变成 α 值,也就是每一步保留的部分。np.prod把一个数组里的所有数乘起来:np.prod(np.array([0.9, 0.8, 0.5]))是 0.36。
noisy_at:给定干净点 x0、噪声 eps、一列 beta 和步数 t(从 1 开始数),先算出第 t 步的 alpha-bar,再返回加噪点 xₜ。Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行