Learning Transferable Visual Models From Natural Language Supervision (CLIP)
★★★★★Radford et al. (OpenAI) · ICML 2021 2021
用 4 亿图文对做对比学习，把图像与文本嵌入同一向量空间，零样本图像分类能力横空出世——现代多模态的地基。
视觉语言模型
Vision-Language Models 活跃前沿从 CLIP 对齐到原生多模态：让语言模型睁眼理解图像、视频与界面的技术主线。
代表机构： OpenAIGoogle DeepMindApple
概述
VLM 的技术史可以浓缩为三步：CLIP（2021）用 4 亿图文对做对比学习，得到第一个「视觉-语言共享嵌入空间」，至今仍是大多数 VLM 的视觉底座；Flamingo（2022）证明了「冻结 LLM + 交叉注意力适配器」即可获得强 few-shot 视觉对话能力；LLaVA（2023）用 GPT-4 生成的图文指令数据把整个配方压缩到两张卡能跑，引爆了开源 VLM 生态。
2024 年后的走向是「原生多模态」：不再外挂视觉编码器，而是在预训练之初就混合图文（甚至音视频）token，GPT-4o、Gemini 代表了这条路线的产品形态——低延迟、流式、听看说一体。理解任务的短板从识别转向空间推理与精细 grounding（数不清物体、看不懂图表结构、指代歧义）。
看点
视觉 token 的「经济问题」：一张高清图动辄上千 token，分辨率与成本的权衡（动态裁剪、token 压缩）是 VLM 落地的隐形战场。
经典工作
- Learning Transferable Visual Models（2021，CLIP）
- Visual Instruction Tuning（2023，LLaVA）
- Flamingo（2022）
论文精读
全部论文 →演进脉络
完整时间线 →-
ViT：图像也是 token 2020 年 10 月 22 日
Google 的 Vision Transformer 把图像切成 16×16 patch 序列直接喂给标准 Transformer，在大数据加持下超越 CNN，「架构统一」从 NLP 扩张到视觉。
-
CLIP：图文对齐的通用底座 2021 年 1 月 5 日
OpenAI 用 4 亿图文对做对比学习，让图像与文本嵌入进同一向量空间，零样本图像分类与「文本驱动的视觉检索」成为可能——此后几乎所有 VLM 的地基。