证明与它的工程含义

数学部分已由 定理 2.4.2 给出（关键两步：$(\boldsymbol P_\pi\boldsymbol X)W=\boldsymbol P_\pi(\boldsymbol XW)$；逐行 softmax 与行置换可交换）。把它翻成四条工程含义：

1. 位置是必需品，不是调优项。没有位置注入，模型优化的是另一个（更容易的）目标：对语序置换不变的「词袋式」预测。损失可以降得很低——语言里有大量语序无关的统计信号——但语序相关任务会系统性崩坏。
2. 掩码不能替代位置编码。因果掩码只提供「谁在谁左边」这一位方向信息，不提供距离与位置本身；只用掩码的模型能学出「只看前一个 token」，却无法表达「相隔 7 步」。
3. 它是一个诊断工具。把输入的词序打乱、看输出是否只是被同样打乱，就能判断位置注入是否真的生效；常见 bug（位置张量切片错位、批内共用同一段位置、位置表尺寸不匹配被静默截断）都表现为「打乱后输出几乎不变」，而损失曲线看不出异常。工程惯例：把这条检查写进单测。
4. 它给出一条反面判据：困惑度尚可、却在复制 / 排序 / 指代上崩盘的模型，先怀疑位置信息没真正注入，再怀疑容量不足。

∎

推导（逐块验证 + 一条必要的限定）

(1) 逐块验证。 第 $i$ 对维度上，$\boldsymbol{PE}_{pos}$ 的两个分量写成列向量 $(\sin(pos\omega),\cos(pos\omega))^{\mathrm T}$（$\omega=\omega_i$），左乘分块后得

$$\begin{pmatrix}\cos(k\omega)\sin(pos\omega)+\sin(k\omega)\cos(pos\omega)\\-\sin(k\omega)\sin(pos\omega)+\cos(k\omega)\cos(pos\omega)\end{pmatrix}=\begin{pmatrix}\sin\bigl((pos+k)\omega\bigr)\\\cos\bigl((pos+k)\omega\bigr)\end{pmatrix},$$

两个分量分别由和角公式得到，正是 $\boldsymbol{PE}_{pos+k}$ 在第 $i$ 对维度上的取值；对每对维度成立，故整块结论成立。

(2) 「与 pos 无关」是关键：$\boldsymbol R_k$ 只依赖位移 $k$ 与频率 $\omega_i$，所以「从 $pos$ 的编码推出 $pos+k$ 的编码」在所有位置上用的是同一个线性变换——这正是正弦式被认为「内含相对位置信息」的原因。

(3) 但这是表示能力，不是学习保证。 上式只说明模型原则上可以用固定线性映射表达相对位移，不说明训练后一定会学到相对位置机制：注意力真正用的是 $\boldsymbol q^{\mathrm T}\boldsymbol k$，而 $\boldsymbol q,\boldsymbol k$ 是「词嵌入 + 位置编码」再投影的结果，投影会把位置与词义两个子空间混在一起。工程经验 + 本书判断：原生正弦式在训练长度之外同样明显退化，「正弦式可外推」只在很有限的长度范围与任务上成立（对照口径见 2.6.3）。$\blacksquare$

∎

推导（三行代数 + 两条限定）

(1) 主体推导。

$$\langle\boldsymbol R_m\boldsymbol q,\boldsymbol R_n\boldsymbol k\rangle=(\boldsymbol R_m\boldsymbol q)^{\mathrm T}(\boldsymbol R_n\boldsymbol k)=\boldsymbol q^{\mathrm T}\boldsymbol R_m^{\mathrm T}\boldsymbol R_n\boldsymbol k=\boldsymbol q^{\mathrm T}\boldsymbol R_{-m}\boldsymbol R_n\boldsymbol k=\boldsymbol q^{\mathrm T}\boldsymbol R_{n-m}\boldsymbol k=\langle\boldsymbol q,\boldsymbol R_{n-m}\boldsymbol k\rangle,$$

依次用到 $(\boldsymbol A\boldsymbol x)^{\mathrm T}=\boldsymbol x^{\mathrm T}\boldsymbol A^{\mathrm T}$、$\boldsymbol R_m^{\mathrm T}=\boldsymbol R_m^{-1}=\boldsymbol R_{-m}$（正交）、以及「角度可加」——每个 $2\times2$ 分块上 $-m\theta_i+n\theta_i=(n-m)\theta_i$，块对角矩阵相乘仍是块对角旋转。$\blacksquare$

(2) 「分数只依赖相对位移」的确切含义：对给定的 $\boldsymbol q_m,\boldsymbol k_n$，分数是位移的函数 $s(n-m)$。两处不能过度解读：① softmax 之后，第 $m$ 行第 $n$ 列的权重含该行所有键各自位移决定的分母，是「整行相对结构」的函数，不是只看这一个 $n-m$；② 推导把 $\boldsymbol q_m,\boldsymbol k_n$ 当给定向量，而它们还包含内容与残差带来的历史，所以它说的是位置通道的相对性。

(3) 它不等于自动获得无限长度外推。 $\theta_i$ 越大，相位 $m\theta_i$ 转得越快；训练只覆盖 $|n-m|\le L_{\text{train}}$，外推到更远位移时高频维度的相位会绕圈：相差 $2\pi/\theta_i$ 的两处给出相同相位，模型无法区分（混叠），分数分布相对训练区间系统性偏移。论文报告：RoPE 在长文本任务上优于正弦式与学习式；本书判断：那是「同长度区间内更好」，与「无限外推」是两件事。扩大上下文时通常要额外做位置插值 / 频率缩放一类处理（名称与公式因实现而异，需核实）。

∎

推导（为什么「分块累加 + 重新缩放」能精确复现 softmax）

(1) softmax 的稳定形式。 取 $m=\max_i s_i$，则 $\operatorname{softmax}(s)_i=e^{s_i-m}/\sum_{i'}e^{s_{i'}-m}$：减去最大值不改变结果（分子分母同乘 $e^{-m}$），但保证指数不溢出。第 $i$ 个位置的权重 = 未归一化权重 $e^{s_i-m}$ ÷ 归一化因子 $\ell=\sum_{i'}e^{s_{i'}-m}$。

(2) 归纳假设与归纳步。 假设处理完前 $j-1$ 块后，$\ell_{j-1}=\sum_{i\lt j}e^{s_i-m_{j-1}}$、$\boldsymbol O_{j-1}=\sum_{i\lt j}e^{s_i-m_{j-1}}\boldsymbol v_i$（以 $m_{j-1}$ 为基准）。第 $j$ 块带来新最大值 $m_j\ge m_{j-1}$；把旧累加换成以 $m_j$ 为基准，只需每项乘 $e^{\,m_{j-1}-m_j}$，这正是递推式里的重缩放因子：

$$\ell_j=e^{\,m_{j-1}-m_j}\underbrace{\sum_{i\lt j}e^{\,s_i-m_{j-1}}}_{\ell_{j-1}}+\sum_{i\in\text{块}j}e^{\,s_i-m_j}=\sum_{i\le j\text{ 已处理}}e^{\,s_i-m_j},$$

$\boldsymbol O_j$ 同理。归纳到最后一个键块得 $\boldsymbol O_J/\ell_J$ 正是 softmax 加权和；与整块计算的差异只来自不同求和顺序在浮点下的舍入（实现要用 FP32 累积统计量，工程惯例）。

(3) 分块之后每步处理什么。 取查询块大小 $B_q$、键块大小 $B_c$：

量	形状	说明
查询块 $\boldsymbol Q_i$	$B\times H\times B_q\times d_h$	外层循环索引 $i$
键 / 值块 $\boldsymbol K_j,\boldsymbol V_j$	$B\times H\times B_c\times d_h$	内层循环索引 $j$
块分数 $\boldsymbol S_{ij}$	$B\times H\times B_q\times B_c$	只在片上 SRAM 存在，从不写回 HBM
运行最大值 / 指数和	$B\times H\times B_q$（各一份）	每行两个标量；高精度累积
输出累加 $\boldsymbol O_i$	$B\times H\times B_q\times d_h$	未归一化，最后除以 $\ell_J$

(4) 变的是哪一笔账。 中间矩阵留在片上、不落盘，反向传播重算块分数而不保存它，于是中间显存从 $O(T^{2})$ 降到 $O(T)$。论文报告的表述是 HBM 访问量从 $\Theta(T^{2}d)$ 量级降到 $\Theta(T^{2}d^{2}/M)$ 量级（$M$ 为片上内存容量，以原文为准）。数学与 FLOPs 都不变——这是它与稀疏/近似注意力的根本区别（2.6.8）。$\blacksquare$

∎