Diffusion演化进程

Mr.R2025/10/16大约 4 分钟

Diffusion演化进程

Auto-Encoding Variational Bayes(VAE) [ ICLR 2014 ]

x 分布：真实的图片分布 $p(x)$ ，无法估计

z 分布： $N(0,1)$

$q(z|x)$ :Encoder 将图片分布映射到高斯分布

$p(x|z)$ :Decoder 将高斯分布映射到真实图片分布

目标是最大化ELBO：

\underbrace{\mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]}_{\text{reconstruction term}} \;-\; \underbrace{D_{\mathrm{KL}}\big(q_\phi(z|x)\,\|\,p(z)\big)}_{\text{prior matching term}}

其中：

重构项（reconstruction term）：衡量解码器重建输入的能力，也就是说解码器能否把压缩后的隐变量重新还原出原始输入；
先验匹配项（prior matching term）：通过 KL 散度约束隐变量分布接近先验分布，表示将图片映射到的分布约束成一个高斯分布让潜变量的分布更“规整”。

VAE的概念是将图片输入到一个 Encoder 里面使其映射到 Latent Space 再通过 Decoder 尽可能还原成原来的图片

Neural Discrete Representation Learning(VQ-VAE) [ NeurIPS2017 ]

对于图片来说，可能并不需要一个完整的高斯分布来表征整个的图片数据分布，由此VAE -> VQ ( Vecotr Quantization 向量离散化 )-VAE：将VAE中整个高斯分布空间离散化成若干个空间的点（下图中的Embeding Space）

目标函数：

L = \log p(x \mid z_q(x)) + \| \operatorname{sg}[z_e(x)] - e \|_2^2 + \beta \| z_e(x) - \operatorname{sg}[e] \|_2^2

其中：

$\log p(x \mid z_q(x))$ ：表示重构项，衡量解码器在给定量化后的隐变量 $z_q(x)$ 时，能否准确重建输入 $x$
$\| \operatorname{sg}[z_e(x)] - e \|_2^2$ ：只用于更新codebook的 $e$ ，不反向传播到编码器，目的是让 $e$ 靠近编码器输出 $z_e(x)$
$\beta \| z_e(x) - \operatorname{sg}[e] \|_2^2$ ：只更新编码器，约束编码器的输出不要频繁跳变，使其贴近量化后的 $e$

训练过程：

encoder、decoder与VAE类似
codebook：通过最小化 $z_e(x)$ 以及 $e_k$ 的 $L_2$ -NORM

生成过程：VQ-VAE训练PixelCNN(自回归模型)作为Prior用来拟合 $p(z)$ ，通过 $p(z)$ 就能自回归采样得到 $z_q$ ，自回归的过程类似于gpt生成文本的过程，也就是已知 $z_q$ 前面的一部分特征 $z_{1:i}$ ,，预测并采样下一个特征 $z_{i+1}$ 。Prior模型生成的 $z_q$ 输入到decoder后便可生成图片 $x'$