Mamba: Linear-Time Sequence Modeling with Selective State Spaces
★★★★★Gu & Dao (Princeton / CMU) · arXiv 2023 2023
给 SSM 装上「输入相关的选择性」，线性复杂度下逼近 Transformer 质量——后 Transformer 架构挑战者的最强音。
基础与架构
Foundations & Architectures 成熟领域神经网络的骨架与训练原理：从感知机、CNN/RNN 到 Transformer，以及后 Transformer 时代对新架构的持续探索。
代表机构： Google Brain / DeepMindMeta AI (FAIR)MIT CSAIL
子领域
概述
解决什么问题
一切上层能力都压在「架构」这块地基上：用什么计算结构处理数据、如何训练得动、如何堆到足够大的规模。这个领域回答的是骨架问题——序列该怎样建模、梯度该怎样流动、算力该怎样花。
当前图景
Transformer 自 2017 年以来统一了语言、视觉、语音乃至蛋白质序列的建模，是当之无愧的「通用架构」。它的核心优势不是注意力本身，而是完美的硬件亲和性：稠密矩阵乘法吃满了 GPU/TPU 的算力，使规模化的成本曲线可控。
但稠密注意力的平方复杂度始终是天花板，于是出现了两条路线：一条在 Transformer 内部做近似（稀疏注意力、线性注意力、FlashAttention 式的 IO 优化）；另一条干脆换骨架——SSM/Mamba 及其混合架构在长序列上给出了线性复杂度，RWV 等也各有拥趸。目前的共识正在向「混合架构」（少量全注意力层 + 大量线性层）收敛。
开放问题
- Transformer 的成功有多少来自归纳偏置，多少来自可扩展性？换掉注意力到底损失了什么？
- 长上下文的「架构解」与「系统解」（KV Cache 优化、检索）会在哪一层汇合？
- 是否存在下一个「统一架构」，能原生处理离散 token 与连续控制信号？
经典工作
- Attention Is All You Need（2017，Transformer 原始论文）
- Deep Residual Learning（2015，ResNet）
- Long Short-Term Memory（1997，LSTM）
- Mamba: Linear-Time Sequence Modeling（2023）
论文精读
全部论文 →演进脉络
完整时间线 →-
图灵提出「模仿游戏」 1950 年 6 月 1 日
图灵在《Computing Machinery and Intelligence》中提出用对话不可区分性代替「机器能否思考」的形而上学追问，为人工智能给出了第一个可操作的定义。
-
达特茅斯会议：AI 命名日 1956 年 8 月 31 日
McCarthy、Minsky、Shannon 等人在达特茅斯学院为期两个月的研讨会正式命名「Artificial Intelligence」，符号主义纲领由此确立，学科诞生。
-
感知机：第一个可学习的神经网络 1957 年 1 月 1 日
Rosenblatt 的感知机用权重自适应实现了线性可分模式的学习，硬件化原型 Mark I Perceptron 引发第一波神经网络热潮——也埋下了被 Minsky 与 Papert（1969）证伪「异或不可分」后寒冬的伏笔。
-
反向传播的复兴 1986 年 10 月 1 日
Rumelhart、Hinton 与 Williams 在 Nature 发表用反向传播训练多层网络的方法，解决了感知机时代遗留的隐藏层学习问题，成为此后一切深度学习的训练基石。
-
LeNet：卷积网络的手写数字革命 1989 年 9 月 1 日
LeCun 的 LeNet 用卷积 + 权值共享 + 池化识别手写数字，被银行支票系统规模化部署——深度学习第一次进入生产环境，也是 CNN 范式的原型。
-
深蓝击败卡斯帕罗夫 1997 年 5 月 11 日
IBM 深蓝以 3.5:2.5 战胜国际象棋世界冠军卡斯帕罗夫，暴力搜索 + 人工评估函数的符号主义路线达到巅峰——也是「算力碾压智能」叙事的第一次胜利。
-
LSTM：给循环网络一个记忆阀门 1997 年 8 月 1 日
Hochreiter 与 Schmidhuber 提出长短期记忆网络，用门控机制解决 RNN 的梯度消失，此后二十年统治序列建模，直到被注意力机制取代。
-
深度信念网络：深度学习复兴序章 2006 年 3 月 1 日
Hinton 等人提出逐层预训练解决深层网络训练难题，「deep learning」一词随之流行，被压抑三十年的神经网络研究重回主流。
-
AlexNet 时刻：深度学习引爆 2012 年 9 月 30 日
AlexNet 在 ImageNet 竞赛把错误率从 26% 砍到 15%，GPU 训练 + ReLU + Dropout + 大数据的组合拳让整个领域在一年内转向深度学习。
-
Seq2Seq 与注意力萌芽 2014 年 9 月 1 日
Sutskever 等人的 Seq2Seq 用「编码器-解码器」两个 LSTM 做端到端机器翻译；Bahdanau 注意力随后让解码器学会「回头看」，自注意力前史完成最后一块拼图。
-
ResNet：一千层的网络成为可能 2015 年 12 月 1 日
He Kaiming 等人的残差学习用「恒等映射 + 学习增量」结构解决深层网络退化问题，152 层网络横扫 ImageNet，残差连接此后成为一切深层架构（包括 Transformer）的标配。
-
Attention Is All You Need 2017 年 6 月 12 日
Google 团队发表 Transformer，用纯自注意力取代循环与卷积，以空前的并行性与可扩展性统一了序列建模范式——深度学习时代最重要的一篇论文。