Token Embedding 与位置
Embedding 把离散 token 转成向量。自注意力本身不携带顺序，原论文使用正弦和余弦位置编码；现代模型也常使用可学习位置编码或旋转位置编码。
自我图书馆SELF LIBRARY持续整理中SHELF 01 / TRANSFORMER · 2026
Transformer
让注意力成为主干。
从 Token 表示、位置编码到多头自注意力，理解 Transformer 如何以全局注意力替代循环与卷积，并成为语言、视觉、扩散条件和多模态系统的共同基础。
01 表示02 注意力03 生成
01 / WHY IT MATTERED IN 2017
它解决的不是“没有注意力”，
而是“注意力仍被顺序计算束缚”。
在 Transformer 之前，主流序列到序列模型常以循环神经网络或卷积网络为骨架，再在其上加入注意力。2017 年的原始论文提出完全由注意力构成的编码器—解码器架构，去除了循环与卷积，使训练时一个层内的所有 token 可以并行计算，并用全局连接建立远距离关系。
并行性是它在当时最直接的工程优势，长程依赖是它最重要的建模优势。
自注意力可以让任意两个位置在同一层直接交互，因此信息传递的路径更短。与循环结构相比，训练时不必按时间步逐个处理 token，这也是原论文强调其训练速度和可扩展性的原因。与此同时，注意力的计算与显存会随序列长度近似二次增长，这一代价也促成了后续的稀疏、线性和分块注意力研究。
02 / ARCHITECTURE
一个 token 先获得位置，
再与全序列交换信息。
原始 Transformer 使用 Encoder–Decoder（编码器—解码器）结构。编码器把输入序列变成上下文化表示；解码器在因果遮罩约束下读取已生成 token 和编码器输出，逐步预测下一个 token。现代模型可选择只保留其中一半，但核心数据流仍然相通。
Multi-Head Self-Attention
每个位置生成 Query、Key 和 Value。多个注意力头在不同投影子空间内独立计算，再拼接并线性映射，使模型能同时捕捉不同类型的依赖关系。
前馈网络与残差路径
每个位置随后经过 Position-wise Feed-Forward Network（逐位置前馈网络），并配合 Residual Connection（残差连接）与 Layer Normalization（层归一化）稳定深层训练。
SCALED DOT-PRODUCT ATTENTION
Attention(Q, K, V) = softmax(QKᵀ / √dₖ)VQKᵀ 得到各 token 的相关性，softmax 把相关性归一化为权重，V 按这些权重聚合。除以 √dₖ 用于避免内积尺度过大导致 softmax 饱和。
MULTI-HEAD ATTENTION
MultiHead = Concat(head₁, …, headₕ)Wᴼ不同头使用不同的 Wᑫ、Wᴷ、Wⱽ 投影。它不是重复同一个注意力，而是让模型在多个表示子空间中并行组织关系。
03 / TRAINING & DECODING
训练可以并行，
自回归生成仍要逐 token 进行。
在经典机器翻译设置中，解码器训练采用 Teacher Forcing（教师强制）：给定真实的前缀 token，用因果遮罩防止当前位置访问未来 token，并用交叉熵学习下一个 token 分布。训练时所有位置可以并行计算；推理时由于下一个 token 依赖已经生成的前缀，仍必须按步骤采样。
01 / ENCODE
→输入序列
双向自注意力建立上下文表示
02 / MASK
→目标前缀
因果遮罩阻止访问未来 token
03 / CROSS
→交叉注意力
解码器读取编码器输出作为条件
04 / PREDICT
Linear + Softmax
得到下一个 token 的概率分布
Encoder-only
以 BERT 为代表，适合理解、检索、分类等需要双向上下文的任务。输入 token 之间可以相互注意。
Decoder-only
以 GPT 类模型为代表，使用因果遮罩做自回归预测。它直接对应“根据已知前缀生成下一个 token”的语言建模目标。
Encoder–Decoder
以 T5 等模型为代表，适合把输入转成输出的条件生成任务，例如翻译、摘要和结构化转换。
04 / ENGINEERING BOUNDARY
理解注意力，也要理解它的长度代价。
对长度为 n 的标准自注意力，注意力矩阵包含 n×n 个关系。序列变长时，算力、显存和通信开销都会成为主要约束。长上下文系统因此需要同时考虑 KV cache、分块计算、FlashAttention、稀疏注意力或替代结构，不能把“并行”误解为“没有长度成本”。
对后续书架的意义
Transformer 不只属于语言模型。Stable Diffusion 中的文本编码和 Cross-Attention 使用同类机制，Vision Transformer 把图像切成 patch token，多模态模型则通过跨模态注意力交换信息。先读懂 Query、Key、Value 与 mask，后续专题会更容易连起来。
READING LIST / ORIGINAL SOURCES
Attention Is All You Need · Vaswani et al.↗BERT: Pre-training of Deep Bidirectional Transformers↗Exploring the Limits of Transfer Learning with T5↗
结构、公式和历史背景以原始论文为依据。工程描述用于建立迁移性的理解，具体模型变体需要回到相应论文、实现与版本文档核对。