注意力机制与自注意力机制详解
在当前主流的大规模语言模型（如 GPT、BERT、LLaMA 等）中，注意力机制（Attention）扮演着关键角色。特别是自注意力机制（Self-Attention），它是 Transformer 架构中最核心的组成部分。本文将从基本概念出发，深入分析两者的差异、具体实现方式及其为何成为现代 AI 模型的基础。
1. 注意力机制的基本原理
注意力机制最初用于改进 Seq2Seq 模型中的编码-解码结构。传统方法会将整个输入序列压缩为一个固定大小的向量，这种方式在处理长序列时容易丢失细节。
引入注意力后，模型可以在生成每一个输出词时，动态地参考输入序列的不同部分：
Attention(Q, K, V) = softmax(QKᵀ / √dₖ)V
- Q（Query）代表当前查询内容；
- K（Key）是键值，用于匹配相关信息；
- V（Value）是要提取的实际数据。
这种设计使得模型能够灵活聚焦于输入中最相关的部分，有效缓解了信息瓶颈问题。
2. 自注意力机制的核心思想
不同于传统的注意力机制，自注意力机制不再依赖两个不同的序列来源。它的 Query、Key 和 Value 均来自同一输入序列，因此也被称为"内部注意力"。
| 比较项 | 普通注意力 | 自注意力 |
|---|---|---|
| Q 来源 | 解码器端 | 本序列本身 |
| K/V 来源 | 编码器输出 | 本序列本身 |
| 关注对象 | 外部序列 | 序列内各元素间关系 |
| 是否支持并行 | 受限于自回归特性 | 完全可并行化 |
这意味着，在训练过程中，所有位置的信息可以同时被考虑，极大提升了效率。
3. 自注意力的具体计算流程
给定输入矩阵 X ∈ ℝ^{n×d}，其中包含 n 个 token 向量，每个维度为 d：
- 通过线性变换获得 Q、K、V 矩阵：
Q = XW_Q, K = XW_K, V = XW_V - 计算得分矩阵：
S = QKᵀ / √d_k - 应用 softmax 获取注意力权重：
A = softmax(S) - 最终输出：
O = AV
该操作使每个 token 都能综合整个序列的信息进行更新，增强了上下文感知能力。
4. Transformer 中三种主要注意力形式
| 层级位置 | 类型 | Q 来源 | K/V 来源 | 掩码情况 | 功能说明 |
|---|---|---|---|---|---|
| 编码器层 | Self-Attention | 本层输入 | 本层输入 | 无 | 构建输入句子内部联系 |
| 解码器首层 | Masked Self-Attention | 本层输入 | 本层输入 | 因果掩码 | 保证仅可见历史 token |
| 解码器次层 | Cross-Attention | 当前解码器状态 | 编码器输出 | 无 | 连接源语言与目标语言 |
这三层协同工作，赋予模型强大的语义理解和生成能力。
5. 多头注意力机制的作用
为了提升模型对多种语义特征的捕捉能力，通常采用多头注意力结构：
- 将嵌入维度拆分为多个"头"，各自执行一次注意力运算；
- 最后合并结果并通过线性映射整合。
这样可以让不同头部专注于语法、语义或指代消解等特定任务，从而提高整体表现。
6. 自注意力为何推动大模型发展
| 性能指标 | RNN/LSTM | Transformer（基于 Self-Attention） |
|---|---|---|
| 远距离依赖建模 | 困难且易衰减 | 直接建立关联 |
| 并行处理能力 | 顺序执行 | 高度并行 |
| 路径长度 | O(n) | O(1) |
| 模型深度拓展 | 难以深化 | 轻松堆叠百层以上 |
正是由于其高效性和灵活性，自注意力成为了支撑大规模预训练模型快速发展的技术基础。
