长依赖不是一句“记住”：从梯度连乘到 LSTM、GRU 与工程选择 | 自在学

长依赖不是一句“记住”：从梯度连乘到 LSTM、GRU 与工程选择

有些序列任务只看附近几个词就能做得不错，有些任务却必须把很早的信息带到后面。比如“这份方案虽然前半段有争议，但在补齐证据之后，评审最终表示____”，最后一个词的判断会受到前面转折结构、论据和主语的共同影响。语音中的说话节奏、序列标注中的实体边界、流式传感器中的状态变化，也有类似的时间依赖。

普通循环神经网络把历史压进一个隐藏状态，形式很紧凑。困难在于：状态能够向前传，并不等于损失能够稳定地向后追责。当梯度跨越许多时间步时，每一步的局部导数会连乘；有效倍率持续小于 1，早期信息就收不到学习信号，持续大于 1，更新又可能突然失控。

这一讲不把 LSTM 和 GRU 当作需要背诵的方框图。我们会从雅可比连乘开始，逐项看门控如何改变梯度通路，再落实到双向网络、变长批次、梯度裁剪和模型选型。最后还有一组可复现的数值实验：它不会替任何任务宣布“谁更好”，只把梯度保留机制单独测出来。

长依赖为什么会变成梯度问题

先写出最常见的 Elman RNN。对第 $t$ 个输入 $x_t$ ，隐藏状态为

h_t = \tanh(W_{xh}x_t + W_{hh}h_{t-1} + b_h)

如果损失只在序列末端计算，早期状态 $h_k$ 收到的梯度要穿过后面的所有状态转移。记

D_t = \operatorname{diag}(1-h_t^2)

则单步雅可比为

J_t = \frac{\partial h_t}{\partial h_{t-1}} = D_tW_{hh}

从 $T$ 时刻回到 $k$ 时刻的核心项是

\frac{\partial \mathcal{L}}{\partial h_k} = \frac{\partial \mathcal{L}}{\partial h_T} J_TJ_{T-1}\cdots J_{k+1}

这就是问题的骨架：不是一个矩阵，而是一串随输入变化的矩阵。用谱范数给出上界，可以看到

\left\|\frac{\partial \mathcal{L}}{\partial h_k}\right\| \le \left\|\frac{\partial \mathcal{L}}{\partial h_T}\right\| \prod_{t=k+1}^{T}\left\|D_tW_{hh}\right\|

若有效倍率长期约为 $0.8$ ，跨 50 步后只剩 $0.8^{50}\approx 1.43\times10^{-5}$ ；若长期约为 $1.2$ ，同样 50 步会放大到 $1.2^{50}\approx 9100$ 。前者是梯度消失，后者是梯度爆炸。

时间链上的梯度消失、稳定与爆炸

这里有两个容易被一句“权重小于 1 就消失”掩盖的细节。

第一， $D_t$ 会随着状态变化。tanh 接近两端饱和时，导数接近 0；即使 $W_{hh}$ 的范数不小，激活饱和也可能切断梯度。第二，矩阵有方向。某个奇异值大于 1，并不保证每个样本、每条方向都爆炸；梯度是否持续落在被放大的方向上同样重要。因此，矩阵范数是有用的诊断工具，不是对每一步结果的精确预言。

“前向状态还带着一点旧信息”和“模型能从损失中学会该保留什么”是两件事。前者看隐藏状态是否可辨认，后者看梯度能否把责任分配回早期输入。长依赖训练失败，往往败在第二步。

下面的实验台把矩阵暂时压缩成一个有效倍率 $\rho$ 。拖动倍率和反传步数，可以直接看见指数变化；纵轴使用对数刻度，消失与爆炸会变成方向相反的直线。

若每一步沿当前梯度方向的有效倍率都约为 0.6，跨越 60 步时最可能发生什么？

为什么只检查隐藏状态中还能否解码出早期信息，不足以证明模型能学会长依赖？

先把“训练崩溃”和“模型记不住”分开诊断

梯度爆炸和梯度消失来自同一类连乘，却会留下不同的训练痕迹。把它们混在一起，常见结果是看到损失不降就直接调学习率，最后仍不知道问题在哪里。

观察	更可能的原因	应先做的检查	处理方向
损失突然变成 `NaN`，参数范数跳升	梯度爆炸或数值溢出	记录裁剪前全局梯度范数、检查非有限值	降低学习率、全局范数裁剪、检查异常批次
训练稳定，但改变很早的词几乎不影响输出	长期梯度消失或任务走了捷径	做延迟复制探针、查看不同时间位置的梯度	门控单元、改善初始化、缩短必要依赖或改架构
训练集很好，验证集明显变差	过拟合	按长度与领域分桶评估	层间 dropout、权重衰减、更多或更匹配的数据
短句正确，长句持续退化	记忆路径、截断范围或填充处理有误	按长度画指标，核对截断反传和掩码	扩大信用分配范围、修正掩码、考虑注意力

梯度裁剪究竟做了什么

全局范数裁剪先把所有参数梯度看成一个长向量 $g$ 。若其二范数超过阈值 $\tau$ ，就统一缩放：

g_{\text{clip}} = g\cdot\min\left(1,\frac{\tau}{\|g\|_2}\right)

统一缩放大体保留了梯度方向，只限制步长。它适合阻止一次异常更新把参数推离可用区域，却不能把接近零的长期梯度恢复出来。换句话说，裁剪治爆炸，不治消失。

python

optimizer.zero_grad(set_to_none=True)
loss.backward()
 
# 返回值是裁剪前的总范数，应该先记录再 optimizer.step()
total_norm = torch.nn.utils.clip_grad_norm_(
    model.parameters(),
    max_norm=1.0,
    error_if_nonfinite=True,
)
optimizer.step()

阈值不是固定答案。1.0、5.0 都只是常见起点，应该结合未裁剪范数的分布、学习率和任务损失来定。如果 99% 的批次都被大幅裁剪，裁剪很可能正在掩盖更深的数值或数据问题。

截断反向传播的边界

截断时间反向传播会每隔 $K$ 步切断计算图，以换取可控的显存和计算量。它并不会阻止隐藏状态继续向前传，但损失无法越过切断点追责。若任务需要 200 步的信用分配，而 $K=32$ ，模型即使使用 LSTM 也不能靠一次反向传播把第 200 步的损失传回最早位置。

因此，排查长依赖时要同时问三个问题：状态有没有传过去，梯度有没有回得来，训练图有没有被人为截断。只回答其中一个，很容易误判。

哪些现象更像梯度爆炸，而不是单纯的梯度消失？

把 `max_norm` 调得足够小，就能同时解决梯度爆炸和长距离梯度消失。

LSTM：把记忆搬到可控的加法通道

普通 RNN 每一步都用同一个非线性变换重写隐藏状态。LSTM 增加细胞状态 $c_t$ ，让“保留旧记忆”和“写入新内容”通过加法汇合。现代常用形式有四组变换：

i_t = \sigma(W_{xi}x_t + W_{hi}h_{t-1} + b_i)

f_t = \sigma(W_{xf}x_t + W_{hf}h_{t-1} + b_f)

g_t = \tanh(W_{xg}x_t + W_{hg}h_{t-1} + b_g)

o_t = \sigma(W_{xo}x_t + W_{ho}h_{t-1} + b_o)

然后更新细胞状态与对外隐藏状态：

c_t = f_t\odot c_{t-1} + i_t\odot g_t

h_t = o_t\odot\tanh(c_t)

常见讲解会把 $i_t,f_t,g_t,o_t$ 合称“四门”。严格说，、、是输出在的 sigmoid 门，是范围在的候选记忆。区分这件事很有用：门负责“放多少”，候选负责“写什么”。

LSTM 的细胞状态与四组变换

四组变换各自负责什么

遗忘门 $f_t$ 决定旧细胞状态保留多少。主题切换、句子边界或新实体出现时，某些维度可以主动衰减。
输入门 $i_t$ 决定候选内容写入多少。高频虚词不一定需要重写长期状态，关键实体或状态变化可能需要更大写入。
候选记忆 $g_t$ 根据当前输入和上一隐藏状态提出新内容。它可以为正也可以为负，因此能够增加或抵消已有记忆。

沿着细胞状态的直接通路，把门值暂时视作已给定，可以得到

\left.\frac{\partial c_t}{\partial c_{t-1}}\right|_{\text{直接通路}} = f_t

跨越多步的直接梯度因而包含

\prod_{j=k+1}^{T}f_j

这里必须保留“直接通路”四个字。门值还依赖 $h_{t-1}$ ，总导数会有其他间接项；LSTM 不是把全部雅可比神奇地变成 $f_t$ 。它真正提供的是一条可以学到接近恒等映射的加法路径。

如果某一维的遗忘门长期约为常数 $f$ ，它的记忆半衰期近似为

k_{1/2}=\frac{\ln 0.5}{\ln f}

$f=0.95$ 时半衰期约 13.5 步， $f=0.99$ 时约 69 步。门控能缓解长依赖，不代表记忆自动无限长；门长期小于 1，乘积仍会衰减。

下面的实验台把 LSTM 与 GRU 都压缩到一个维度。可以先点“长期保留”，再点“快速改写”，观察保留门、候选和输出如何分工。

若某一维上遗忘门 f=1、输入门 i=0，忽略间接路径时，细胞状态会怎样更新？

沿 LSTM 细胞状态的直接路径，从 k 到 T 的梯度保留因子是各时刻 ____ 的乘积。

GRU：用一条状态做“保留还是改写”

GRU 不再分别维护 $c_t$ 和 $h_t$ ，而是只维护隐藏状态 $h_t$ 。以 PyTorch 当前实现对应的形式为例：

r_t = \sigma(W_{xr}x_t + b_{xr} + W_{hr}h_{t-1} + b_{hr})

z_t = \sigma(W_{xz}x_t + b_{xz} + W_{hz}h_{t-1} + b_{hz})

n_t = \tanh\left(W_{xn}x_t+b_{xn}+r_t\odot(W_{hn}h_{t-1}+b_{hn})\right)

h_t = (1-z_t)\odot n_t + z_t\odot h_{t-1}

GRU 的更新门、重置门与单状态通道

更新门 $z_t$ 是新旧状态之间的插值系数。 $z_t$ 接近 1 时，旧状态沿直通分量保留；接近 0 时，候选状态 $n_t$ 主导更新。重置门 $r_{}$ 不直接清空最终状态，它控制计算候选时参考多少旧状态。于是两类问题被分开了：

“这一步要不要继续保留旧信息？”主要由更新门回答。
“在提出新候选时，要不要参考旧信息？”主要由重置门回答。

若暂时把候选路径对旧状态的间接影响拿开，GRU 的直接保留项给出

\left.\frac{\partial h_t}{\partial h_{t-1}}\right|_{\text{直接通路}} = z_t

所以 GRU 和 LSTM 都能学出接近恒等的时间通路，只是状态组织不同：LSTM 用独立细胞状态承载记忆，再通过输出门读出；GRU 让一个隐藏状态同时承担存储与输出。

为什么有些 GRU 公式看起来不一样

原始常见写法会先计算 $r_t\odot h_{t-1}$ ，再乘隐藏权重；PyTorch 为提高计算效率，把重置门乘在隐藏线性变换之后。这两个形式参数化不同，不能把一个实现的权重逐项复制到另一个实现后期待完全相同的输出。阅读框架文档时，方程比“它是 GRU”这个名字更可靠。

GRU 的重置门会直接决定最终状态中保留多少 hₜ₋₁。

在 hₜ=(1-zₜ)nₜ+zₜhₜ₋₁ 中，某维 zₜ=0.9 最直接表示什么？

LSTM 还是 GRU：比参数量更要看任务约束

“GRU 更快”“LSTM 更准”都不能当成通用结论。两者的差异常常小于随机种子、隐藏维度和训练预算带来的差异。稳妥做法是先算清资源，再在相同数据划分和预算下比较。

设输入维度为 $D$ 、隐藏维度为 $H$ ，暂不计输出层。PyTorch 每个循环层为输入和隐藏变换各保留一组偏置，因此单向单层的参数量是：

单元	参数量	运行时状态	结构特点
普通 RNN	$H(D+H)+2H$	$h_t$	一组状态变换
GRU	$3H(D+H)+6H$

不同框架若把两组偏置合并，偏置项会减半；主导项的比例仍大致是 $1:3:4$ 。双向结构会为反向再建一套参数。多层网络中，第二层以后的 $D$ 等于前一层输出维度；双向时通常是 $2H$ ，所以不能只拿第一层公式乘层数。

可以落地的选择顺序

先看因果约束。需要逐步输出、不能看未来时，只能使用单向单元；离线序列标注可以比较双向 GRU 与双向 LSTM。

再看状态和延迟预算。若设备需要同时维护大量会话，GRU 少一个细胞状态，通常更省状态存储；若任务希望把长期记忆与当前读出分开控制，LSTM 的独立细胞状态更直观。

固定隐藏维度、参数预算和训练步数各比较一次，再做“同参数量”比较。只固定隐藏维度会天然让 LSTM 拥有更多参数，不是完全公平的架构比较。

不只看总体分数。按序列长度、噪声比例和领域切片，记录精度、峰值内存、吞吐、首个输出延迟与长序列退化曲线。

门控单元也不是免调参方案。若数据真正只依赖很短窗口，简单卷积或普通 RNN 可能已经足够；若任务需要频繁随机访问全局上下文，注意力架构通常更自然。选 LSTM 或 GRU 之前，先确认问题确实需要递归状态。

忽略偏置和输出层，在相同 D、H 下，LSTM 与 GRU 的主导参数量比例最接近哪一项？

做 LSTM 与 GRU 的工程选型时，哪些比较更有解释力？

双向、多层与变长批次：结构对了，张量也要对

门控解决的是单条递归通路，真实任务还要处理方向、深度和批次长度。很多“长句效果差”并非单元本身失效，而是未来信息泄漏、填充污染或状态索引用错。

双向、多层与变长序列的工程关系

双向网络什么时候能用

双向 RNN 同时运行两个互不共享状态的递归网络：

\overrightarrow{h_t}=\operatorname{RNN}_{\rightarrow}(x_t,\overrightarrow{h}_{t-1})

\overleftarrow{h_t}=\operatorname{RNN}_{\leftarrow}(x_t,\overleftarrow{h}_{t+1})

每个位置的表示通常拼接为

h_t=[\overrightarrow{h_t};\overleftarrow{h_t}]

命名实体识别、词性标注等离线任务可以使用整句，双向上下文很合适。自回归生成或严格流式预测在时刻 $t$ 看不到 $t+1$ 之后的输入，若直接使用反向状态，就把未来答案泄漏给模型。评估分数可能变高，部署时却无法复现。

多层并不等于任意位置都 dropout

堆叠 RNN 时，第 $l$ 层在每个时间步接收第 $l-1$ 层的输出。PyTorch 的 nn.LSTM(..., num_layers=3, dropout=0.2) 会在相邻循环层之间施加 dropout，最后一层之后不会由这个参数自动施加；num_layers=1 时该参数没有层间位置可用。

不要把每个时间步独立采样的普通 dropout 随手放进递归状态通路。不同时间步不断更换掩码，会给记忆路径注入额外噪声。需要循环 dropout 时，应明确选择时间一致的掩码或经过验证的专门方案。

变长批次需要“打包”和“掩码”两套概念

pack_padded_sequence 让循环层跳过一部分填充计算；掩码则告诉损失、池化和指标哪些位置是真实数据。打包不能自动修好后续的损失函数，掩码也不会自动减少循环层在填充位置上的计算。

python

import torch
from torch.nn.utils.rnn import pack_padded_sequence, pad_packed_sequence
 
# x: [batch, max_len, input_size]
# 文档要求：作为 Tensor 传入 pack 时，lengths 位于 CPU
lengths = torch.tensor([8, 5, 3], dtype=torch.long)
 
packed_x = pack_padded_sequence(
    x,
    lengths,
    batch_first=True,
    enforce_sorted=False,
)
packed_y, (h_n, c_n) = lstm(packed_x)

batch_first=True 只改变输入输出为 [batch, time, feature]，不会改变 h_n 和 c_n 的布局；它们仍以 [direction × layer, batch, hidden] 组织。双向网络中，最后一个时间位置的 output 也不等于两个方向各自的最终状态，读取序列级表示时应重塑并索引 h_n，不要想当然地取 output[:, -1]。

下面的实验台会把三条不同长度的序列补齐。关闭掩码、改变填充值，就能看到一个看似普通的平均池化如何被填充位置拖走。

为什么双向 LSTM 不能直接用于严格的逐词自回归生成？

关于变长序列，哪些说法正确？

用可复现小实验看清“保留”与“学习”

完整训练一个模型会同时混入数据难度、参数量、优化器和随机初始化。为了只看梯度通道，我们做一个更克制的实验：把状态放在零附近，使 tanh 导数约为 1；普通 RNN 的循环系数固定为 $0.60$ ，LSTM 的遗忘门和 GRU 的更新门固定为 $0.95$ 。在第一个状态已经写入之后，测“末状态对首状态的导数”。

python

import math
 
def finite_difference(step_fn, transitions, epsilon=1e-7):
    positive, negative = epsilon, -epsilon
    for _ in range(transitions):
        positive = step_fn(positive)
        negative = step_fn(negative)
    return (positive - negative) / (2 * epsilon)
 
def rnn_step(h):
    return math.tanh(0.60

真实运行得到：

转移步数	普通 RNN， $w=0.60$	LSTM， $f=0.95$	GRU， $z=0.95$
10	`6.04661760e-03`	`5.98736939e-01`	`5.98736939e-01`
30	`2.21073920e-07`	`2.14638764e-01`	`2.14638764e-01`
60	`4.88736780e-14`	`4.60697990e-02`	`4.60697990e-02`

中心有限差分与解析值 $0.60^{60}$ 、 $0.95^{60}$ 的相对误差分别为 1.679e-15 和 1.506e-16，说明脚本测到的确实是预期通道。把普通 RNN 的循环系数改为 $1.20$ ，60 步导数变成 5.63455628e+04，同一套连乘立即从消失转成爆炸。

我们还用梯度向量 [12, -5, 3] 检查全局范数裁剪。裁剪前二范数为 13.341664，阈值设为 5 后统一乘 0.374766，裁剪后范数为 5.000000。这说明裁剪保留整体方向并压缩长度，而不是把每个分量分别截成 $[-5,5]$ 。

这组数值不是 LSTM、GRU 的精度或速度排名。我们固定门值、关闭候选的间接路径，只隔离“状态已经写入后能保留多少梯度”。真实门值由样本和训练决定；若遗忘门或更新门长期偏小，门控网络同样会遗忘。

把机制实验扩展成任务实验

可以再构造“延迟复制”数据：序列开头给一个随机符号，中间填入与标签无关的噪声，只在末尾要求复原开头符号。训练时逐步把间隔从 10 提到 100，并同时记录三件事：准确率、首位置梯度范数、门值分布。这样才能区分模型是保留了信号、学会了任务，还是碰巧利用了数据中的捷径。

为了公平，普通 RNN、LSTM、GRU 至少要做两套对照：相同隐藏维度和相近参数量；训练步数、优化器、学习率搜索范围、随机种子与早停规则保持一致。只跑一个种子，然后把最好的一次当成架构结论，没有足够证据。

受控实验中，为什么 LSTM 与 GRU 在 60 步后的保留比相同？

普通 RNN 在这组机制实验中梯度更小，所以任何真实数据集上 LSTM 都一定优于普通 RNN。

初始化、正则化与 Transformer 时代的边界

门控结构给了优化器一条更好的路，但训练是否走上这条路，还取决于初始化、数据和监控方式。下面是一套比“换成 LSTM 就行”更可靠的检查顺序。

训练前：让初始动态不过早饱和

输入权重可从 Xavier 一类与维度相关的初始化开始，循环权重可把正交初始化列入对照实验。目标是让前向状态和反向信号都不在最初几步失控。
遗忘门偏置设为 1 是常见实验起点，使初始 $f_t$ 更偏向保留；它不是固定规范。任务频繁重置状态时，过强的初始保留也可能拖慢改写。
明确状态何时清零、何时跨批次传递。跨样本误传状态会造成隐蔽的数据泄漏；需要跨片段延续时，应在合适边界 detach，避免计算图无限增长。

训练中：记录裁剪前发生了什么

同时记录损失、裁剪前梯度总范数、参数范数和序列长度。只保存裁剪后的范数，看不到爆炸原貌。
按长度分桶评估，并做反事实扰动：替换早期关键 token，观察末端预测是否合理变化。
若使用截断反传，记录截断长度并与任务所需依赖跨度对照。门控不能穿越已经断开的计算图。
PyTorch 内置 dropout 只作用于循环层之间。想正则化输入、输出或递归权重，应分别实现并说明掩码策略。

什么时候仍然选择 RNN

Transformer 用自注意力让任意两个位置在一层内直接交互，并能并行处理整段序列；这对大规模训练、全局上下文和预训练迁移很有吸引力。普通全局注意力的时间和显存又会随序列长度平方增长，而循环网络每来一步只更新固定大小的状态。

因此，下面这些约束下，LSTM 或 GRU 仍可能是合理答案：

严格流式输入，要求数据一到就更新，且不能等待完整窗口；
同时维护大量会话，希望每个会话只保存固定大小的状态；
设备内存和功耗受限，任务依赖主要呈时间递推而非任意全局检索；
已有递归系统稳定运行，新架构的收益尚不足以覆盖迁移和验证成本。

离线文档理解、大规模语言建模、需要频繁访问远距离任意位置时，Transformer 或其他注意力架构通常更自然。窗口注意力、线性注意力和循环—注意力混合模型还会继续改变边界，所以选型应回到序列长度、吞吐、延迟、状态内存和质量切片，而不是按模型年代站队。

哪些条件更支持优先评估单向 LSTM 或 GRU，而不是默认使用全局自注意力？

在 PyTorch 的三层 LSTM 中设置 dropout=0.2，内置 dropout 主要加在哪里？

t

r_t