04 平稳分布与遍历性：一次抽样和长时间观察

一台服务器不断接收请求，状态用“空闲、忙碌、拥塞”表示。你观察了很长时间，发现它处于三个状态的比例大约是 $0.20,0.50,0.30$。这三个数究竟只是这一段观测的偶然结果，还是系统本身存在一个稳定的长期结构？如果从“拥塞”开始观察，过一段时间后得到的比例会不会不一样？

这两个问题容易被混成一句“求平稳分布”。实际上，它们分别涉及两件事：固定时刻的分布怎样变化，以及一条实际运行轨迹的时间平均怎样变化。平稳分布则是用来与二者比较的一份不变分布。本章把这两层关系拆开，并说明不可约、周期性和平均回返时间各自解决什么困难。

把“长期稳定”写成方程

设 $(X_n)_{n\ge 0}$ 是时间齐次的离散时间 Markov 链，状态空间为有限或可数集合 $S$，转移矩阵记为 $P=(p_{ij})$，其中

若时刻 $n$ 的分布写成行向量 $\mu_n$，那么一步转移就是

我们想找一种分布 $\pi$，系统从它出发后，走一步仍然是它自己。于是定义得到

这就是平稳分布。坐标形式为

意思是：流入状态 $j$ 的总概率质量，恰好等于平稳时留在 $j$ 的概率质量。

“平稳”不是说链每一步都不动，也不是说 $X_n$ 的取值固定。它说的是分布不变。即使每个个体都在状态之间跳转，只要流入和流出在整体上平衡，分布仍可保持不变。

例题：两状态系统的平衡流

一台设备每周要么处于正常状态 $0$，要么处于维修状态 $1$。正常状态下一周后进入维修的概率是 $0.1$，维修状态下一周后恢复正常的概率是 $0.4$。求平稳分布，并解释两个状态之间的流量关系。

进入维修的概率是 0.1，长期维修比例却未必是 0.1：维修可能持续不止一周。我们用平稳方程把进入和离开的机会一起算进去。稍后还会检查，为什么这份分布确实描述长期观测。

这个例子还展示了一个常用技巧。两状态链的平稳方程可以写成详细平衡关系 $\pi_0p_{01}=\pi_1p_{10}$。在更大的网络中，若每条边都能这样逐边平衡，就不必把整组线性方程全部展开。

不可约性决定能否互相到达

对状态 $i,j$，记 $p_{ij}^{(n)}=(P^n)_{ij}=\mathbb P_i(X_n=j)$。如果存在某个 使 ，就说 可以到达 ，记作 。若 且 ，称 互通，记作 。

若任意两个状态都互通，链称为不可约。不可约的直观含义不是“每一步都能去任何地方”，而是允许绕几步，任何状态最终都有机会影响任何另一个状态。状态空间可以分成沟通类，其中有些类可能有出口，不能一概称为闭类。在不可约链中，整个状态空间就是一个沟通类。

不可约性很重要，因为同一条链可以有多个互不相通的区域，每个区域各自形成自己的长期行为。比如

中，状态 $0$ 一旦进入就永远留在 $0$，状态 $1$ 可以到达 $0$，却不能从 $0$ 回到 $1$。这条链的唯一平稳分布是 $(1,0)$，无需指定起点；从状态 1 出发，留在 1 的概率是 $$，所以分布也趋于它。如果把矩阵改为单位矩阵，就会有无穷多个平稳分布 。问题不在于方程难不难，而在于状态类之间有没有交换概率质量。

对有限状态空间，不可约性还有一个强结论：平稳分布一定存在且唯一，而且每个状态的平稳概率都严格为正。无限状态空间则还要检查平均回返时间。下面先证明有限情形的结论，免得把“求到一个解”和“只有这一个解”当作一回事。

有限不可约链为何恰好有一份平稳分布

任取初始分布 $\mu$，把前 $N$ 个时刻的分布取平均：

这仍是一个概率向量，而且

有限维概率单纯形是闭且有界的，所以能从 $a_N$ 中选出收敛子列，极限记作 $\pi$。极限仍非负、各项和为 1，代入上式便得 $\pi P=\pi$。到这里甚至还没用不可约性：有限链总有平稳分布。

不可约性让每个坐标都为正。某个 $\pi_i>0$，而从 $i$ 到任何 $j$ 都有正概率路径，故对合适的 $n$，$\pi_j=(\pi P^n)_j\ge\pi_i p_{ij}^{(n)}>0$。

唯一性也可以直接验证。若另有平稳分布 $\nu$，取 $M=\max_i\nu_i/\pi_i$，则向量 $$ 非负、满足 ，且在某个取最大比值的状态 有 。若有 ，从 到 的正概率路径会给出 ，矛盾。因此 ；两份分布都归一化，所以 ，。这个证明没有要求非周期，周期链同样可能只有一个平稳解。

练习 1（概念巩固）

考虑转移矩阵

判断它是否不可约，并求它的平稳分布。

周期性：为什么分布可能来回振荡

状态 $i$ 的周期定义为

如果 $d(i)=1$，称状态 $i$ 非周期；如果 $d(i)=d>1$，称它有周期 $d$。在不可约链中，所有状态周期相同，因此可以说整条链的周期。

上面的三状态环每三步回到原状态，而且不可能在一步或两步回到原状态，且所有返回时刻都恰为 3 的正整数倍，所以周期为 $3$。它有平稳分布，但从状态 $0$ 出发的分布不会逐点趋于 $(1/3,1/3,1/3)$：时刻 $0$ 在 $0$，时刻 $1$ 在 $1$，时刻 在 ，之后重复。平稳分布存在与 的逐点收敛是两个不同命题。

若某状态有自环，即 $p_{ii}>0$，它就能在一步回到自己，返回长度集合含 1，周期便必为 1，不需要额外寻找别的循环。不过不能只看到一条自环就断言整条链的所有状态都非周期，必须利用不可约性或直接计算可返回步长。

练习 2（周期性的变式）

把三状态环改成

它还会像纯三状态环那样振荡吗？说明理由，并求其平稳分布。

非周期性怎样让分布忘记起点

对有限不可约非周期链，存在某个整数 $m$，使 $K=P^m$ 的每个元素都为正。这里的 $m$ 不必是 1：允许零边，绕行后仍能把概率送到所有状态。

这条图论事实来自返回长度的最大公因数。选一个状态 $a$，可以从它的返回长度中选出有限个 $r_1,\ldots,r_k$，最大公因数仍为 1。把这些循环首尾相接，能得到长度为非负整数和 $\sum_\ell c_\ell r_\ell$ 的返回路径。为什么这些和覆盖所有充分大的整数？看模 的余数：可得到的余数在有限加法群中封闭，反复加同一个余数也能得到它的相反数；最大公因数为 1 保证全部余数都能出现。每个余数选一个非负组合代表，再添若干个 ，就覆盖了该余数下的所有充分大整数。从任意 走到 ，在那里添循环，再走到 ，便能凑出任意充分大的总长度。状态对只有有限个，可以取共同的 。

设状态数为 $d$，$\varepsilon=\min_{i,j}K_{ij}>0$，$\eta =d\epsilon \le 1$，。每一行至少含有同一份质量 。若 ，扣掉这份质量并归一化，得到另一个转移矩阵 ：

任意两个概率向量 $\alpha,\beta$ 满足

最后一步只用三角不等式和 $R$ 每行和为 1。公共的那一份概率把起点差异缩小了；重复 $q$ 次，差异至多乘 $(1-\eta)^q$。取 $\beta=\pi$，再写 $n=qm+r$，剩余的 步也不会增大这个距离，于是

若 $\eta=1$，$K$ 每行直接等于 $u$，一步块就消除了起点差异。纯三环的任何幂都有零元素，无法抽出这样的共同正质量；这正是证明在周期例子里失效的地方。

把环上的每一步改成“以概率 $s$ 原地停留，否则走向下一状态”，其中 $0<s<1$，两步后从任一状态到三个状态的概率分别是 $s^2,2s(1-s),(1-s)^2$，全都为正。取 ，便有 ，得到每两步后的差异至多为原差异 倍的保守界。这是保证收敛的上界，不是断言实际误差每次恰好乘 0.88。

回返周期与正再生

从状态 $i$ 出发，首次回到 $i$ 的时间记为

若 $\mathbb P_i(T_i^+<\infty)=1$，称 $i$ 为常返（recurrent）；如果这个概率小于 $1$，称 为暂态（transient）。常返只说“最终几乎必然回来”，并不保证平均等待时间有限。

若 $i$ 常返且

称 $i$ 为正常返，也称正再生（positive recurrent）；本章使用“正再生”以便和“常返”区分。若 $m_i=\infty$，称零常返。正再生是长期频率能形成概率分布的关键。把相邻两次访问 $i$ 之间的时间段取为左闭右开区间，每个周期恰好在开头访问 $i$ 一次，末端那次归入下一个周期。因此，在不可约正再生链中，一个周期平均长 $m_i$ 步，长期待在 的比例应当是

对不可约链，暂态、零常返、正再生这三种性质分别是全类性质：一个状态属于哪一类，其他状态也属于同一类。有限不可约链必为正再生：第三章证明中共同的路径长度上界 $L$ 和概率下界 $\delta$ 同样适用于正时间回返，故 $\mathbb P_i(T_i^+>kL)\le(1-\delta)^k$，尾和给出 。这里不是单靠“状态少”猜出均值有限。

这条样本在时刻 0、1、4、6 回到状态 0。只计前 6 个观测（时刻 0 到 5），状态 0 出现 3 次，比例为 1/2；三个完整回返间隔的样本均值为 2，其倒数也为 1/2。它们在这段以回返点为端点的记录中互相核对，却不表示设备模型的理论平稳概率改成了 1/2。前面模型的理论值仍是 0.8，理论平均回返时间是 1/0.8=1.25；短路径可以偏离这些值。

正再生不可约链存在唯一平稳分布，并满足回返公式。反方向也很有用：在可数状态空间中，若找到一个平稳概率分布并且链不可约，就能推出正再生。因而“解出一个可归一化的平稳解”和“证明长期行为良好”往往是同一件事的两面。

为什么要区分平稳分布和极限分布

设初始状态为 $i$。有三种常被混淆的量：

第一项是固定时刻 $n$ 落在 $j$ 的概率；第二项是单条样本路径截至 $N$ 的访问频率；第三项是平稳分布中的坐标。对时间齐次、有限或可数状态的不可约正再生非周期链，从任意确定起点 $i$ 出发都有

而遍历定理给出，无论初始状态如何，

其中可积明确指 $\sum_j\pi_j|f(j)|<\infty$，收敛几乎必然成立。有限状态时，每个实值函数都满足这个条件。

非周期性主要保障“固定时刻分布”的普通极限；在这里的不可约正再生条件下，时间平均不需要非周期性。三状态纯环虽然 $p_{0j}^{(n)}$ 不收敛，但单条轨迹每个状态恰好每三步访问一次，所以时间平均仍趋于 $1/3$。

在本章的离散时间语境中，把不可约、正再生、非周期的链称为遍历链，强调的是从任意初始状态出发，固定时刻分布会趋向唯一平稳分布，同时长期平均也由这份分布给出。若只讨论时间平均，常见的遍历定理可以不要求非周期；若只解平稳方程，也不需要非周期。写结论时要把这三个层次说清楚：不可约保证状态属于同一个沟通类，正再生保证长期占比能归一化，非周期排除固定时刻的相位振荡。

把回返直觉变成时间平均的证明

仍在不可约正再生条件下，固定状态 $i$，从它出发，记连续回返时刻为 $S_0=0,S_1,S_2,\ldots$，周期长度为 。每次回到同一个状态，后面的转移规则相同，而且不再依赖之前的路径。这是把马尔可夫性用在首次返回时刻：按 分情况，在每个确定的 上使用马尔可夫性，再把这些情况相加。因此各周期独立同分布，均值为 。

令 $V_i(N)=\sum_{n=0}^{N-1}\mathbf1_{\{X_n=i\}}$。最后一次已记录的返回不晚于 ，下一次返回不早于 ，所以

对周期长度使用独立同分布变量的强大数律，$S_r/r\to m_i$；两侧除以 $V_i(N)$ 并夹逼，就得到 。如果最初不在 ，在不可约常返链中迟早会碰到 ；前面的有限一段除以 后消失。整个推导没有要求返回时刻能取所有充分大的整数，所以不需要非周期。

还需证明 $1/m_i$ 为什么恰好是平稳坐标。一个从 $i$ 出发直到下次回到 $i$ 的周期里，设访问状态 $j$ 的期望次数为

它满足 $\gamma_i=1$、$\sum_j\gamma_j=m_i$。把计数区间从 平移到 ，删掉和补上的状态都是 ，所以访问数不变；再按前一步状态分解期望，便得 。于是 是平稳概率分布。对有限不可约链用已证的唯一性，就得到 。

同样，一个周期中的总报酬为 $Y_r=\sum_{n=S_{r-1}}^{S_r-1}f(X_n)$。若 ，则 。周期数多起来后，总报酬除以总时间趋于 。观察终点可能切在半个周期里，但剩余部分的绝对值不超过该周期的 。这些 独立同分布且均值有限；对它们用强大数律，相邻两个部分和之差给出 ，再乘周期数与时间的有限极限，就知道剩余部分除以总时间也趋于零。这样得到的是一条路径的长期平均，不是把相关的每一步误当作独立抽样。

可数状态时，归一化这一步不能跳过

对可数不可约链，“存在平稳概率分布”等价于正再生，并且平稳分布唯一，仍有 $\pi_i=1/m_i$。上面的周期构造已经给出一个方向：只要某个 $m_i$ 有限，$\gamma \mathrm{/}{m}_{}$ 就能归一化。反方向可以这样理解：如果已有平稳分布 ，不可约性保证每个 ；把 的平稳方程反复展开，只保留那些尚未回到 的路径项，非负余项可以舍去，得到 。对 求和，就有 ，因此所有状态正再生。

回返几乎必然后，$\gamma$ 本身不变；两份不变向量的差 $w=\pi/\pi_i-\gamma$ 非负、在 $i$ 处为零。若任何其他分量为正，通往 $i$ 的正概率路径会迫使 $$，矛盾。所以实际是等号。这个论证也证明了可数不可约链的平稳概率分布唯一。它说明，形式上解到 还不够，必须检查 是否有限。

例如在全体整数上每步以 $1/2$ 向左、以 $1/2$ 向右。它不可约且常返：从 1 出发，在区间 $[0,M]$ 中先到 0 而非 $M$ 的概率为 $1-1/M$（首步方程的线性解）；这个事件包含在“最终到 0”中，让 $M$ 增大，最终到 0 的概率至少趋于 1。由对称性，从 0 走出后也必然返回。可平稳方程要求

即相邻差值处处相同，解形如 $a+bj$。要在全部整数上非负，必须 $b=0$；非零常数序列无法归一化。因此它没有平稳概率分布，是零常返链。若每步另加 $1/2$ 的停留概率、向左右各走 $1/4$，自环使链非周期，却仍只有不可归一化的常数不变权重，照样不是正再生。非周期不能补上这个缺口。

有限情形的分布收敛已在前面证明。可数不可约正再生非周期链也有同样的逐坐标收敛：取一条从任意分布出发的链，和一条从 $\pi$ 出发的独立链；二者组成的乘积链在非周期条件下不可约，有平稳分布 $\pi\otimes\pi$，因而正再生。它们几乎必然在某个时刻同时到达选定的状态，之后可令两条链使用相同转移。两条链在时刻 $n$ 的分布差异，就被“到那时还没相遇”的概率控制，该概率趋于零。这也解释了为什么周期链里错开相位的两条路径可能永不相遇。

用详细平衡快速构造平稳分布

若非负权重 $\pi_i$ 已归一化为概率分布，且每一对状态满足

称其满足详细平衡。对固定的 $j$，对所有 $i$ 求和：

所以详细平衡自动推出 $\pi P=\pi$。这是一种充分条件，不是必要条件；有些平稳链存在循环流，整体流量平衡但逐条边不平衡。

例题：带边界的随机游走

状态为 $0,1,2,3$。在内部状态 $1,2$，向右走的概率为 $0.6$，向左走的概率为 $0.4$；在 $0$ 处以概率 $1$ 走到 $1$，在 处以概率 走到 。求平稳分布。

这条链是有限且不可约，所以平稳分布一定唯一。边界处的转移不对称，直接解四个方程当然可以，但相邻状态的流量关系更短：设 $\pi_i p_{i,i+1}=\pi_{i+1}p_{i+1,i}$，逐边递推，再归一化。

这条链每步改变位置奇偶性，返回长度只能为偶数，又存在两步返回，所以周期为 2。从状态 0 出发，偶数时刻只在 $\{0,2\}$，奇数时刻只在 $\{1,3\}$，不会逐时刻趋于上面的 $\pi$；但长期访问比例仍由 $\pi$ 给出。两个组的平稳质量分别为 $2/19+15/38=1/2$ 和 ，恰好与轮流换组一致。正常状态和维修状态的例子有自环，这里没有，长期结论就要分别说。

这里的“详细平衡”还提示了一个方法选择原则：线性方程适用于任意有限链；当状态图是线性的、树状的或有明显的局部流量关系时，先尝试详细平衡，计算和检查都会更透明。

把实验切到上面的四状态边界游走，分别看平稳方程的解、时刻分布和它的累计平均。即使迭代很多轮，时刻分布仍在两个组之间换位置；累计平均却能靠近平稳向量。加入停留概率后再比较：平稳向量没有改变，周期结构已经改变。再试试单位矩阵：不同初始向量都保持不动，它们都是平稳分布。这时请把“当前显示的一个解”和“所有解”分开。

遍历性的一次完整判断

面对一条离散时间链，可以按以下逻辑检查长期结论：

1. 看状态之间是否互通。若链可约，要分闭类讨论，并处理进入各闭类的概率；可约本身不等于平稳分布必不唯一。
2. 若状态空间有限且不可约，平稳分布存在唯一，且链正再生。
3. 对不可约正再生链，检查周期是否为 1；它决定是否从所有初始状态都有固定时刻分布的普通收敛。即使链有周期，从平稳分布本身出发也始终不变。
4. 若状态空间可数无穷，必须检查正再生；仅有常返还不够，零常返没有平稳概率分布。
5. 对实际观测的长期平均，使用遍历定理，并明确函数 $f$ 是否可积。

练习 3（迁移：条件失效时如何表述）

某不可约链的状态空间可数。已知每个状态都会以概率 $1$ 回返，但某状态的平均回返时间为无穷大。

（1）这条链属于哪一类？（2）能否存在总和为 $1$ 的平稳分布？（3）能否直接断言从任意初始状态出发，固定时刻分布收敛到某个概率向量？

小结练习

练习 4（巩固：直接解平稳方程）

设

求平稳分布，并计算平稳状态下从 $0$ 到 $1$ 的一步流量。

练习 5（变式：平稳不等于逐时刻收敛）

设链在两个状态之间必然切换：

求平稳分布，并说明从状态 $0$ 出发时 $P^n(0,\cdot)$ 是否收敛。

练习 6（迁移：从观测比例反推检查）

长时间记录得到状态 $A,B,C$ 的访问比例约为 $0.5,0.3,0.2$。已知转移矩阵的第一行是 $(0.6,0.4,0)$，第二行是 $(0.2,0.5,0.3)$。把这三个数当作精确的候选平稳坐标来检查。利用平稳方程，求第三行中从 出发到 和 的概率，并判断这份候选分布是否合法；有限样本误差暂不纳入本题。

再向前走一步

11. 上面的四状态边界游走有周期 2。令 $P_s=sI+(1-s)P$。当 $0<s<1$ 时，它的平稳分布是否改变？从任意起点的时刻分布是否收敛？ 时又会怎样？

12. 一条三状态链有 0、2 两个吸收态，状态 1 以概率 0.4 到 0、以概率 0.6 到 2。求所有平稳分布。从状态 1 出发时，时刻分布的极限是多少？一条样本路径中状态 2 的长期访问比例，又是固定的 0.6 吗？

13. 一条两状态不可约链给出的单步平稳残差 $\|\mu P-\mu\|_1$ 很小，能否只据此认定 $\mu$ 已接近平稳分布？取 $P=\begin{pmatrix}1-\epsilon&\epsilon\\\epsilon&1-\epsilon\end{pmatrix}$、、 检查。若已知某个步长块的收缩系数 ，怎样补上可靠的误差控制？

用同一个模型对照两种观察方式：时刻概率由矩阵递推计算，一条轨迹的累计访问比例由实际访问次数计算。即使概率曲线已经稳定，短路径的访问比例仍可能上下波动。纯三环从状态 0 出发时，可以手算前 6 个观测的访问次数；带自环后，改变随机种子，看样本波动怎样变化，再用回返间隔和访问次数核对长期比例。样本变长不保证每一步都更接近理论值。