High-Resolution Image Synthesis with Latent Diffusion Models
★★★★★Rombach et al. (LMU / Runway) · CVPR 2022 2022
把扩散过程从像素空间搬进 VAE 隐空间，计算成本骤降两个数量级——Stable Diffusion 的原型论文，开源文生图时代的起点。
扩散模型与图像生成
Diffusion & Image Generation 活跃前沿从 DDPM 到 latent diffusion 再到流匹配：概率去噪如何成为视觉生成的主流物理。
代表机构： Stability AIOpenAI（DALL·E 系列）Black Forest Labs（FLUX）
概述
扩散模型的想法朴素得惊人：给图像逐步加噪，再学习逆向去噪。DDPM（2020）证明了这条路在质量上能打，Latent Diffusion（2022）把过程搬进 VAE 隐空间让它在消费级显卡上跑通，配合 Stable Diffusion 的开源，直接造就了全民文生图的时代。
2023–2024 年的两大主线：一是可控性——ControlNet 把姿态、边缘、深度图变成硬约束，LoRA 让个人风格定制成为十分钟教程；二是底层替换——DiT 架构（U-Net → Transformer）与流匹配（flow matching）训练更稳、路径更直，SD3 与 FLUX 代表了新范式。DALL·E/GPT-4o 的路线则把生成塞进自回归 token 框架，与扩散分庭抗礼。
看点
文生图的战场正从「像不像」转向「听不听话」：长 prompt 的组合语义遵循（画七个杯子、三个倒扣）仍是失败重灾区，也是各家刷榜的新前线。
经典工作
- Denoising Diffusion Probabilistic Models（2020）
- High-Resolution Image Synthesis with Latent Diffusion（2022）
- Flow Matching / SD3（2023–2024）
论文精读
全部论文 →演进脉络
完整时间线 →-
GAN：生成模型的对抗博弈 2014 年 6 月 1 日
Goodfellow 提出生成对抗网络，让生成器与判别器互搏出逼真样本，此后六年统治图像生成，直至被扩散模型取代。
-
DDPM：扩散模型的黎明 2020 年 12 月 20 日
Ho 等人的去噪扩散概率模型证明「逐步加噪-逆向去噪」可以生成高质量图像，训练稳定性远超 GAN，为扩散模型取代对抗训练奠定基础。
-
Stable Diffusion 开源：生成图像的民主化 2022 年 8 月 22 日
Stability AI 联合 LMU 开源 Latent Diffusion 权重，消费级显卡可本地生成图像，两个月内掀起全球「AI 绘画」浪潮，也引爆了版权与艺术家的持久争议。