Skip to content

DDPM数学原理

ddpm

前向扩散

现在假定有一张像素值范围为 [0, 255] 的彩色 RGB 图像 x0

创建和输入图像形状完全一样,服从正态分布的随机噪声 ϵ

然后利用公式 1 将图片 x 和高斯噪声 ϵ 进行加权混合。其中 β 是介于 01 之间的数字。可以看出随着 β 的变化,图像和噪声进行混合的时候各自的权重此消彼长

(1)β×ϵ+1β×x

forward_noised.png

首先有原始图像 x0 ,后续的 xt 是由图像 xt1 和随机高斯噪声 ϵt 加权混合而成。也就是说后一时刻的噪声图像是由前一时刻的图像加上当前时刻的高斯噪声产生的

将上面的过程形式化,也就是用数学公式对这个过程进行表示。

对于 x1 的产生:

(2)x1=β1×ϵ1+1β1×x0

对于 x2 的产生:

(3)x2=β2×ϵ2+1β2×x1

对于 x3 的产生:

(4)x3=β3×ϵ3+1β3×x2

以此类推

对于 xt 的产生:

(5)xt=βt×ϵt+1βt×xt1

我们发现规律:

(6)xT=βT×ϵT+1βT×xT1
  • 其中 ϵt 和其他任意时刻的 ϵi (it) 都是独立同分布的,ϵtN(0,1)。也就是任意俩时刻的噪声是互不影响的。
  • 特别注意一下,0<β1<β2<β3<<βt1<βt<1,在一开始的 β 取值较小,也就是噪声的权重较小,越往后的 β 的取值逐渐变大,也就是噪声的权重较大。
  • 规律就是在前期图像的扩散速率较低,到后期图像的扩散速率逐步加快。

为了简化后续的推导,在这里用 αt 取代 1βt

所以公式又能写成:

(7)xT=1αT×ϵT+αT×xT1

接下来我们将使用公式 7 搞亿点事情。

imgs/forward_noise_copy.png

使用公式 7 我们可以从图像 x0 一步步迭代到 xt ,但是很多时候我们就是想一步到位,我现在就是想避开这样的一个循环过程,从 x0xt 一步到位, 或者到任意时刻。

能做到吗?

首先我们有:

(8)xt=1αt×ϵt+αt×xt1

然后还有:

(9)xt1=1αt1×ϵt1+αt1×xt2

然后还有:

(10)xt2=1αt2×ϵt2+αt2×xt3

还有很多很多,一直到:

(11)x1=1α1×ϵ1+α1×x0

可以看到好像,仅仅是好像只要知道这一时刻的图像就能表示出后一时刻的图像,那么我们将这些公式合并起来,看看能用 x0 来表示 xt 吗?

首先合并公式 8 和公式 9 我们得到:

(12)xt=1αt×ϵt+αt(1αt1)×ϵt1+αtαt1×xt2

再把公式 10 和上式公式 12 合并能够得出:

(13)xt=1αt×ϵt+αt(1αt1)×ϵt1+αtαt1(1αt2)×ϵt2+αtαt1αt2×xt3

这样一直合并下去我们可以得到:

(14)xt=1αt×ϵt+αt(1αt1)×ϵt1+αtαt1(1αt2)×ϵt2++αtαt1αt2(1α1)×ϵ1+αtαt1αt2αt3α2α1×x0

这个公式可能复杂了一点,但是你要是有耐心一点点进行合并是可以顺理成章推导出来的。

我们看矩形框内的每个 ϵ ,每个 ϵ 都服从均值为 0 ,方差为 1 的正态分布。那么每个正态分布所有的可能去乘以同一个数会导致其方差变化。

分布 均值 方差
1αt×ϵt 0 1αt
αt(1αt1)×ϵt1 0 αt(1αt1)
αtαt1(1αt2)×ϵt2 0 αtαt1(1αt2)
αtαt1αt2(1α1)×ϵ1 0 αtαt1αt2(1α1)

到这里,我们还知道就是多个符合正态分布的分布和进行叠加后的分布还是符合正态分布的,其前后均值和方差还满足一定的规律,这里不详细介绍了。

那么就可以利用重参数化技巧得出:公式 14 的矩形框区域的分布是服从均值为 0 ,方差为 1αtαt1αt2α3α2α1 的正态分布。

(15)xt=(1αtαt1αt2α3α2α1)×ϵ+αtαt1αt2αt3α2α1×x0

这样的关系式还是很冗长,用 α¯t 来等价于 αtαt1αt2α3α2α1。那么公式就能写成:

(16)xt=(1α¯t)×ϵ+α¯t×x0

现在从上式来看,只要给定一个随机噪声分布 ϵ ,那么我们就能从 x0 一步到位加入噪声 ϵ 变成 xt

反向过程

刚才介绍的是从一张没有噪声的图如何有规律的加入噪声,现在假设我们有一张几乎都是噪声的图片,我们希望有一种能够和前向扩散完全相反的过程,为什么需要呢?

刚才是从 x0xt ,我们想知道有没有一种方法能从 xt 大致的知道 x0这样只要给我一张噪声图,那么我一定能生成一张和原始图像分布相似的图像

先把需要用到的公式写下来。

(17)xt=1αt×ϵt+αt×xt1
(18)xt=1α¯t×ϵ+α¯t×x0
(19)P(A|B)=P(B|A)P(A)P(B)

关于贝叶斯公式(公式 19),补充一点,假如 AB 事件的发生有先后顺序,就假定 A 时间先于 B 事件发生。那么我能通过公式 19 获得在已知 B 已经发生的情况下,发生了 A 的概率是多少。

那么结合例子来讲,知道了前向扩散的这一事件的具体过程,现在我们就可以利用这个过程根据已经发生的前向扩散得到前一时刻噪声图

我们用 P(xt1|xt) 来表示给定 xt 的情况下是图像 xt1 的概率。结合贝叶斯公式那么可以得到:

(20)P(xt1|xt)=P(xt|xt1)P(xt1)P(xt)=P(xt|xt1)P(xt1|x0)P(xt|x0)

为了严谨更新一下公式,这样就是说都是从同一张原始图像出发:

(21)P(xt1|xt,x0)=P(xt|xt1,x0)P(xt1|x0)P(xt|x0)

我们看看等式右边各个正态分布:

(22)xt=1αt×ϵt+αt×xt1N(αtxt1,1αt)
(23)xt=(1α¯t)×ϵ+α¯t×x0N(αt¯x0,1α¯t)
(24)xt1=(1α¯t1)×ϵ+α¯t1×x0N(α¯t1x0,1α¯t1)

那么再转化一下,用正态分布表达式来表示上式:

(25)P(xt1|xt,x0)=N(xt|xt1,x0)N(xt1|x0)N(xt|x0)

他们写成正态分布的概率密度函数表达式:

(26)P(xt|xt1,x0)=12π1αte[12(xtα¯txt1)21αt]
(27)P(xt|x0)=12π1α¯te[12(xtα¯tx0)21α¯t]
(28)P(xt1|x0)=12π1α¯t1e[12(xt1α¯t1x0)21α¯t1]

我们将上面的概率密度函数代入公式 25 中,经过化简就能得到:

(29)P(xt1|xt,x0)=12π(1at1α¯t11α¯t)e[(xt1(αt(1α¯t1)1α¯txt+α¯t1(1αt)1α¯tx0))22(1αt1α¯t11α¯t)2]

也就是说:

(30)P(xt1|xt,x0)N(αt(1α¯t1)1α¯txt+α¯t1(1αt)1α¯tx0,(1αt1α¯t11α¯t)2)

但是我们必须记得我们是想用 xt 时刻的图像去预测 xt1 时刻的图像,上述公式竟然出现了 x0 ,话说回来,我们终极目的就是知道 x0 ,现在却需要 x0 ,显然我们得想办法替换 x0

正好有这个公式:

(31)xt=(1α¯t)×ϵ+α¯t×x0

根据这个公式可以用 xt 表示 x0

(32)x0=xt1α¯tϵα¯t

还可以表示 ϵt

(33)ϵt=xtα¯txt1α¯t

再把上式代入公式 30,那么就能得到:

(34)P(xt1|xt,x0)N(αt(1α¯t1)1α¯txt+α¯t1(1αt)1α¯t×xt1α¯tϵα¯t,(βt(1α¯t1)1α¯t)2)

经过这样的过程:

(35)αt(1α¯t1)1α¯txt+α¯t1(1αt)1α¯t×xt1α¯tϵα¯t=αt(1αt1)xt+α¯t1α¯t(1αt)(xt1αtϵ)1αt=αt(1αt1)xt+1αt(1αt)(xt1αtϵ)1αt=1αtαt(1αt1)xt+(1αt)xt(1αt)1αtϵ)1αt=1αt(1αt)xt(1αt)1αtϵ)1αt=1αt(xt1αt1αtϵ)

我们整理得到:

(36)P(xt1|xt,x0)N(1αt(xt1αt1αtϵt),βt(1a¯t1)1a¯t)
结论
  • 根据公式 31 可以知道,只要我们知道原始图像 x0 ,我们就能通过直接加入一个噪声 ϵ 变成噪声图像 xt
  • 根据公式 35 可以知道,只要我们知道了噪声 ϵ ,就能知道前一时刻的图像概率分布。
  • 但是问题就在于我们不知道这个噪声 ϵ ,那么就能利用神经网络强大的拟合能力,给定一张噪声图去预测噪声 ϵt 来获取前一时刻的噪声图像,再在前一时刻的噪声图像去预测另一个噪声 ϵ 来获取前前一时刻的噪声图像,如此循环一定步数。最终就能得出接近原始图像的图片。

参考资料

Comments