自我图书馆SELF LIBRARY持续整理中

SHELF 01 / DIFFUSION FOUNDATIONS · 2026

Diffusion Model
从噪声中恢复结构。

从 Denoising Diffusion Probabilistic Model（去噪扩散概率模型，简称 DDPM）出发，说明前向加噪、反向去噪、Score Matching（得分匹配）和 Flow Matching（流匹配）为何可以指向同一类生成问题。

01 前向加噪02 反向去噪03 Score / Flow

01 / WHY DIFFUSION

扩散的思路，
是把复杂分布接到一个简单终点。

真实图像、语音或分子数据的分布往往高度非线性且具有多个模式，直接从中采样很难。DDPM 选择一个已知的高斯噪声分布作为终点，并构造从数据到噪声的逐步扰动路径。网络不必一次性“画出答案”，而是学习在每个噪声水平下往数据分布回走的局部方向。

为什么选择高斯噪声？

高斯分布在仿射变换和独立噪声相加后仍保持高斯形式，因此前向链可以写出任意时间步的闭式分布，也能写出相邻时间步的条件分布。训练时只需从数据样本、一个随机时间步和一份已知噪声构造监督目标。这个可解析性让复杂生成任务被拆成大量形式一致的去噪子问题。

A

稳定的监督信号

网络看到带噪样本 xₜ，同时知道真实加入的噪声 ε，因此可用均方误差学习预测目标。它避开了生成对抗网络中生成器与判别器的 min-max 对抗训练。

B

局部恢复而非一次映射

全局语义、物体结构和局部纹理可以分配到不同的信噪比阶段。多步更新使每一步只处理一个受限的恢复问题，但代价是采样长度可能较长。

C

与 Score Matching 相连

DDPM 的噪声预测可转化为带噪数据分布的 score 估计。这使离散扩散链与连续时间随机微分方程（Stochastic Differential Equation，简称 SDE）描述连成一条线。

02 / FORWARD PROCESS

前向加噪，
让信号系数逐步下降，噪声方差逐步上升。

给定噪声日程 β₁,…,βₜ，DDPM 定义固定的马尔可夫链。每一步从上一状态缩小一部分信号并加入一小份高斯噪声。记 αₜ = 1 − βₜ，累积乘积为 ᾱₜ = ∏ᵢ₌₁ᵗ αᵢ。

ONE FORWARD STEPq(xₜ | xₜ₋₁) = N(√αₜxₜ₋₁, βₜI)

均值中的 √αₜ 保留一部分前一时刻的信号，方差 βₜI 注入独立高斯噪声。βₜ 的选择决定了各时间步的信噪比。

CLOSED-FORM MARGINALxₜ = √ᾱₜx₀ + √(1 − ᾱₜ)ε, ε ∼ N(0, I)

由于高斯变量可合成，不必真的执行 t 次加噪。训练时可直接随机抽取 t，从干净样本 x₀ 构造任意噪声等级的 xₜ。

不同 step 的均值与方差从哪里来？

递推展开后，信号项会不断乘上 √αᵢ，得到 √ᾱₜx₀；独立高斯噪声的方差相加后得到 (1 − ᾱₜ)I。因此 q(xₜ | x₀) 的均值是 √ᾱₜx₀，方差是 (1 − ᾱₜ)I。随着 t 增大，ᾱₜ 趋近于零，样本逐渐忘记原始结构并接近标准高斯分布。

03 / REVERSE PROCESS

反向去噪，
先写出已知后验，再学习其中未知的部分。

如果同时知道 x₀ 和 xₜ，前向高斯链的相邻后验 q(xₜ₋₁ | xₜ, x₀) 仍是高斯分布。真实采样时没有 x₀，因此 DDPM 用网络从 xₜ 预测噪声或等价目标，进而估计 x̂₀ 和反向均值。训练目标看似是“预测噪声”，本质上是在学习这个后验的可用参数化。

POSTERIOR VARIANCEq(xₜ₋₁ | xₜ, x₀) = N(μ̃ₜ, β̃ₜI)

其中 β̃ₜ = βₜ(1 − ᾱₜ₋₁)/(1 − ᾱₜ)。它描述在已知干净样本时，前一步状态还保留多少不确定性。

POSTERIOR MEANμ̃ₜ = [√ᾱₜ₋₁βₜ/(1−ᾱₜ)]x₀ + [√αₜ(1−ᾱₜ₋₁)/(1−ᾱₜ)]xₜ

均值是干净样本 x₀ 与当前带噪样本 xₜ 的线性组合。网络预测 ε 后可反推出 x̂₀，再代入这一结构得到反向更新方向。

START

xT ∼ N(0, I)

从可直接采样的高斯噪声开始

→
PREDICT

εθ(xₜ, t)

网络估计当前噪声或等价目标

→
ESTIMATE

x̂₀, μθ

由预测结果组成下一步分布参数

→
UPDATE

xₜ₋₁

重复至 t = 0，得到生成样本

04 / SCORE & FLOW

从“预测噪声”，
到“学习一条场”。

Score Matching 与 Flow Matching 都试图回答同一个问题：给定一条连接噪声分布和数据分布的概率路径，如何得到可积分的生成方向？差别在于学习对象不同，前者学习密度梯度，后者直接学习路径上的速度。

A

Score Matching

Score Function（得分函数）是 ∇ₓ log pₜ(x)，指向概率密度上升最快的方向。常见噪声预测参数化下，score 与 εθ 只差一个由噪声尺度决定的比例与符号。

B

SDE 与 ODE

连续时间框架把前向扰动写成 SDE，并可构造具有相同边缘分布的 probability-flow Ordinary Differential Equation（概率流常微分方程）。采样器可沿随机或确定性路径积分。

C

Flow Matching

Flow Matching 直接回归条件概率路径上的向量场 vθ(xₜ, t)，再用 ODE 求解器从噪声积分到数据。它可使用扩散路径，也可选择更直接的概率路径。

为什么它们会在现代模型中相遇？

三者都把“从噪声到数据”视为连续或离散的路径问题。DDPM 强调可解析的离散马尔可夫链，score-based 模型强调密度梯度，Flow Matching 强调速度场。它们使用不同的训练目标和采样器，但都服务于把简单先验分布变换为复杂数据分布这一目标。

READING LIST / ORIGINAL SOURCES
Denoising Diffusion Probabilistic Models↗Score-Based Generative Modeling through Stochastic Differential Equations↗Denoising Diffusion Implicit Models↗Flow Matching for Generative Modeling↗

公式使用 DDPM 和后续 score / flow 文献中的常见记号。不同论文的时间参数化、噪声日程、预测目标与采样器并不完全相同，复现时需要以相应实现和配置为准。