Transformer 与注意力架构

Transformer & Attention 成熟领域

自注意力驱动的序列建模范式，2017 年以来统一了 NLP、视觉与语音的事实标准架构。

代表机构： GoogleMeta AI

概述

自注意力的本质是让序列中每个位置直接「看见」所有其他位置，信息路径长度为 O(1)，彻底绕开了 RNN 的顺序瓶颈。今天回头看，Transformer 赢下的关键有三条：并行性（训练吃满硬件）、可扩展性（损失随规模平滑下降）、通用性（一切皆 token）。

当前的主要工作不再是「改进注意力」，而是「给注意力减负」：MQA/GQA 压缩 KV 头数以省显存，FlashAttention 以算子级 IO 优化让平方注意力跑得动长序列，滑动窗口与层间 KV 共享进一步控制成本。架构层的微调在 2023 年后趋于保守——大家更愿意把创新留给数据与训练配方。

值得警惕的是「架构即数据」的耦合：很多「更好的注意力」在放大模型与长训练下被抹平。判断一个架构改进是否真有价值，标准是它是否在 10B 以上 token、多次学习率扫描下依然成立。

★★★★★

Vaswani et al. · NeurIPS 2017 2017

用纯自注意力取代循环与卷积的序列建模范式，以可并行性与可扩展性统一了此后一切模态。

Seq2Seq 与注意力萌芽 2014 年 9 月 1 日

Sutskever 等人的 Seq2Seq 用「编码器-解码器」两个 LSTM 做端到端机器翻译；Bahdanau 注意力随后让解码器学会「回头看」，自注意力前史完成最后一块拼图。
Attention Is All You Need 2017 年 6 月 12 日

Google 团队发表 Transformer，用纯自注意力取代循环与卷积，以空前的并行性与可扩展性统一了序列建模范式——深度学习时代最重要的一篇论文。