AI 世界地图

自注意力驱动的序列建模范式，2017 年以来统一了 NLP、视觉与语音的事实标准架构。

线性注意力、SSM/Mamba、RWKV 等挑战者：用线性复杂度换取（或超越）平方注意力的质量。

AdamW 之后几乎冻结的优化器地层，与训练稳定性、学习率调度、梯度流诊断的工程科学。

损失随算力、数据、参数的幂律下降——及其修订版（Chinchilla）与测试时计算时代的新账本。

从 Common Crawl 到「数据飞轮」：去重、质量分类、配比与课程、合成数据——大模型时代的炼油学。

Llama 引爆的开源权重运动：Qwen、DeepSeek、Mistral 多强并立，以及「开放权重 ≠ 开放科学」的持续争论。

用人类偏好信号塑造模型行为：从 PPO 三段式到 DPO 的扁平化，再到可验证奖励的 RL 复兴。

从离线模仿到在线策略蒸馏：学生自己生成、教师逐 token 反馈——SFT 与 RL 之间的第三条后训练路线。

「一步步想」如何把概率接龙变成推理机：CoT、自一致性、分解式提示，以及推理忠实性之辩。

把算力从训练挪到推理：o1 开创、DeepSeek-R1 民主化的「想得越久答得越好」范式。

从 2K 到百万 token：塞得进只是及格线，用得好（跨文档聚合、库级理解）才是前沿。

打开黑箱做逆向工程：稀疏自编码器、特征电路、表征几何——把神经网络的内部变成可读的机制图。

能力与风险的度量衡：从基准刷分到危害分类学、自动化红队与模型审计的可复现实践。

训练数据与生成内容两端的合规审计：成员推断攻击（MIAs）、机器遗忘、LLM 水印与 AI 生成检测——「数据从哪来、内容谁生成、隐私如何证明」的三重治理。

从 CLIP 对齐到原生多模态：让语言模型睁眼理解图像、视频与界面的技术主线。

从 DDPM 到 latent diffusion 再到流匹配：概率去噪如何成为视觉生成的主流物理。

Sora 开启的「视频即 token」路线：时空 patch、DiT 骨架，以及物理一致性这道真正的高墙。

模型外围的工程骨架：工具循环、上下文工程、权限与沙箱——「产品是 harness，模型是可替换的引擎」。

让模型调 API、搜网页、执行代码：从 Toolformer 到 MCP 的工具生态标准化。

SKILL.md 开放标准：把「怎么做一类任务」打包成渐进披露的技能文件夹——知识复用从 prompt 复制走向「agent 时代的软件包」。

Agent 的时间维度：上下文之外的持久记忆、任务分解与自我反思的工程学。

让多个模型分工对话：角色扮演式协作框架的兴起，与「真的需要多智能体吗」的冷水。

机器人版的多模态大模型：把图像与指令直接映射为连续控制信号，通用机器人策略的赌注。

在模拟器里学会、在物理世界里活下来：域随机化、GPU 并行仿真与视觉策略迁移的百年工程。

把大模型塞进小显存：量化、LoRA 家族与知识蒸馏的成本三连降。

参数与算力解耦的稀疏架构：每 token 只激活少数专家，用路由器换「大而不贵」。

让 token 吐得更快更便宜：KV Cache 管理、连续批处理、PagedAttention、投机解码的工程进化。

AlphaFold 革命之后：结构预测的产业级落地、蛋白质语言模型与 AI 药物设计的现实检验。

GNoME 与 A-Lab 之后：材料发现的「预测-合成-验证」闭环，以及机器学习势函数的静默革命。

从 IMO 奖牌到研究级定理：AlphaProof 的搜索-学习混合范式，与形式化验证的可信出口。

过参数化为什么不过拟合：双重下降、隐式正则化与 NTK——旧理论的失效清单与新叙事。

规模的魔法还是度量的假象？两大 LLM 时代标志现象的理论竞技场。