High-Resolution Image Synthesis with Latent Diffusion Models
★★★★★Rombach et al. (LMU / Runway) · CVPR 2022 2022
把扩散过程从像素空间搬进 VAE 隐空间，计算成本骤降两个数量级——Stable Diffusion 的原型论文，开源文生图时代的起点。
多模态
Multimodal 活跃前沿让模型睁眼看世界、动手作画：视觉语言模型、扩散生成与视频生成，以及「理解与生成为何长期分家」的合流趋势。
代表机构： OpenAIGoogle DeepMindStability AI
子领域
概述
解决什么问题
语言只是人类经验的压缩包，原始经验是视觉、听觉与运动的。多模态研究如何让模型消费（理解图像/视频/音频）与生产（生成像素/波形）非语言信号，并追问：统一的 token 序列能否覆盖全部模态？
当前图景
理解侧，CLIP 用对比学习对齐了图文表征，ViT 把图像切成 patch 塞进 Transformer，二者合流成今天的 VLM 范式：视觉编码器 + 投影层 + 语言模型（LLaVA 式开源配方），GPT-4V/4o、Gemini 进一步走向原生多模态与流式交互。生成侧，扩散模型自 2020 年起取代 GAN 成为图像生成主流，Latent Diffusion 把计算压进隐空间使消费级显卡可玩，DiT（扩散 Transformer）架构接管视频生成后，Sora 展示了「视频即时空 patch 的生成」这条路的上限。
2024 年后两条线开始合流：统一模型既做理解又做生成（自回归与扩散作为解码头并存），多模态不再是一个「附加能力」而是前沿模型的默认形态。
开放问题
- 理解与生成的统一：自回归 token 与连续扩散，哪个才是通用生成底座？
- 视频生成的「物理一致性」瓶颈是数据问题还是归纳偏置问题？
- 模态对齐到什么程度才算「理解」——grounding、指代、空间推理仍是大短板。
经典工作
- An Image is Worth 16x16 Words（2021，ViT）
- Learning Transferable Visual Models（2021，CLIP）
- High-Resolution Image Synthesis with Latent Diffusion（2022）
论文精读
全部论文 →Learning Transferable Visual Models From Natural Language Supervision (CLIP)
★★★★★Radford et al. (OpenAI) · ICML 2021 2021
用 4 亿图文对做对比学习，把图像与文本嵌入同一向量空间，零样本图像分类能力横空出世——现代多模态的地基。
An Image is Worth 16x16 Words (ViT)
★★★★★Dosovitskiy et al. (Google) · ICLR 2021 2021
把图像切成 16×16 的 patch 序列直接喂给标准 Transformer，证明在大数据条件下视觉不需要卷积归纳偏置。
演进脉络
完整时间线 →-
GAN：生成模型的对抗博弈 2014 年 6 月 1 日
Goodfellow 提出生成对抗网络，让生成器与判别器互搏出逼真样本，此后六年统治图像生成，直至被扩散模型取代。
-
ViT：图像也是 token 2020 年 10 月 22 日
Google 的 Vision Transformer 把图像切成 16×16 patch 序列直接喂给标准 Transformer，在大数据加持下超越 CNN，「架构统一」从 NLP 扩张到视觉。
-
DDPM：扩散模型的黎明 2020 年 12 月 20 日
Ho 等人的去噪扩散概率模型证明「逐步加噪-逆向去噪」可以生成高质量图像，训练稳定性远超 GAN，为扩散模型取代对抗训练奠定基础。
-
CLIP：图文对齐的通用底座 2021 年 1 月 5 日
OpenAI 用 4 亿图文对做对比学习，让图像与文本嵌入进同一向量空间，零样本图像分类与「文本驱动的视觉检索」成为可能——此后几乎所有 VLM 的地基。
-
Stable Diffusion 开源：生成图像的民主化 2022 年 8 月 22 日
Stability AI 联合 LMU 开源 Latent Diffusion 权重，消费级显卡可本地生成图像，两个月内掀起全球「AI 绘画」浪潮，也引爆了版权与艺术家的持久争议。
-
Sora：视频生成的世界模拟器宣言 2024 年 2 月 15 日
OpenAI 展示 Sora，用 DiT 架构把视频视为时空 patch 序列，生成长达一分钟物理连贯的高清视频，并宣称视频模型是「世界模拟器」——物理一致性之辩由此白热化。