更新报酬与综合建模 | 自在学

09 更新报酬与再生建模

一台设备运行两天后坏了，换新又用了四天。如果每天运行能带来三元收入，而每次更换要花八元，那么第一轮亏了两元，第二轮赚了四元。两轮合起来，到底是每天赚零元，还是每天赚三分之一元？

两个答案来自两种不同的平均。第一轮每天亏一元，第二轮每天赚一元，把这两个数等权平均，得到零；把两轮的净收入相加，再除以实际经过的六天，得到 $2/6=1/3$ 。题目若问设备长期每天带来多少净收入，时间较长的一轮必须占更大权重。

第七章已经证明了更新强律，也介绍了周期报酬。这一章把它用到完整的运行账里：维修时间要算在哪里，某一天停下来统计时，未完成的周期怎么算，以及顾客平均与时间平均为什么需要不同的分母。

周期从真正重新开始的地方切开

记第 $n$ 个周期的长度为 $X_n>0$ ，终点为

S_0=0,\qquad S_n=\sum_{i=1}^nX_i,\qquad N(t)=\max\{n\ge0:S_n\le t\}.

时刻 $t$ 已完成 $N(t)$ 个周期。若 $t=S_n$ ，第 $n$ 个周期已经结清，第 $n+1$ 个周期刚开始。

“重新开始”有概率上的要求。一次维修完成以后，如果设备确实回到相同的状态，下一轮运行、维修和收入的联合规律与过去无关，才可以把各轮看成独立复制的周期。这种结构称为再生结构。周期长度相同不是要求；整个周期的随机规律相同，才是要求。

完整周期必须包括运行与维修，切点选在维修完成、重新投入使用的时刻

我会先把切点写成一句能执行的话，例如“每次更换完成、设备恢复可用的时刻”。只写“设备坏了”还不够：从坏了到下一次坏了，也可能成为一个周期，但这时必须把中间的维修和运行都包括进去，账目也要跟着这个切法重新归属。

假如每次所谓的“换新”都留下更严重的磨损，下一轮寿命随累计故障次数缩短，那么这些周期不再同分布。可以把磨损等级加入状态继续建模，却不能把它悄悄当作每次都回到同一状态。

周期末结账的定理与证明

设第 $n$ 个周期完成时结算净报酬 $R_n$ 。它可以为正、为零，也可以为负。假设

(X_1,R_1),(X_2,R_2),\ldots \quad\text{独立同分布},

并且

0<\mu=\mathbb EX_1<\infty,\qquad \mathbb E|R_1|<\infty.

同一个周期内， $R_n$ 可以与 $X_n$ 相关。运行时间越长、收入越高，就是很自然的相关关系。这里要求的是不同周期的成对变量独立同分布。

把已经结清的周期报酬相加：

Y(t)=\sum_{n=1}^{N(t)}R_n.

当 $N(t)>0$ 时，

\frac{Y(t)}t =\left(\frac1{N(t)}\sum_{n=1}^{N(t)}R_n\right)\frac{N(t)}t.

第七章的更新强律给出 $N(t)/t\to1/\mu$ ，而且 $N(t)\to\infty$ 。强大数定律给出 $n^{-1}\sum_{i=1}^nR_i\to\mathbb ER$ ；在这条已收敛的数列中改取随机下标，极限仍然相同。因此

\boxed{\frac{Y(t)}t\longrightarrow \frac{\mathbb ER}{\mathbb EX}\quad\text{几乎必然}.}

这就是周期末结账形式的更新报酬定理。“几乎必然”说明，除一个概率为零的例外集合，长期运行路径都得到这个极限；并不保证某条短路径已经很接近它，也不要求观察值单调靠近。

两种平均，各自在平均什么

对已经完成的 $n$ 个周期，有精确恒等式

\frac{\sum_{i=1}^nR_i}{\sum_{i=1}^nX_i} =\sum_{i=1}^n \underbrace{\frac{X_i}{\sum_{j=1}^nX_j}}_{\text{所占时间比例}} \frac{R_i}{X_i}.

左边是按总时间结算；右边说明，它相当于用周期长度作为权重，平均各周期的报酬率。各权重之和为一。等权平均 $n^{-1}\sum_iR_i/X_i$ 用的是另一套权重，一般会得到不同答案。若，后者趋于。

周期报酬率按时间占比加权，才等于总报酬除以总时间

开头的设备模型若每轮寿命独立以各 $1/2$ 的概率取两天、四天，更换耗时暂且为零，则

R=3X-8,\qquad \mathbb EX=3,\qquad \mathbb ER=1.

长期净收入率为 $1/3$ 元/天。另一方面，

\mathbb E(R/X) =\tfrac12(-2/2)+\tfrac12(4/4)=0.

这不是两种算法精度不同，而是统计口径不同。若问题真的问“等机会抽一个周期，它的平均日收益是多少”，零才是对应答案。

今天停下来统计，正在运行的一轮不能凭空消失

仍看每天收入三元、每次更换花八元、且更换瞬时完成的设备。假设初始设备的购置费用已单独处理，从零时刻开始记录后续收入与更换支出。到时刻 $t$ ，实际累计净收入是

G(t)=3t-8N(t).

已经结清的周期账却是

Y(t)=3S_{N(t)}-8N(t).

两者的差为

G(t)-Y(t)=3\bigl(t-S_{N(t)}\bigr),

也就是当前未完成周期已经产生的收入。把 $Y(t)$ 当作实际现金流，在有限时间内会漏掉这部分。

例如前两轮长度为 $2,4$ 天。在 $t=5$ 天，已完成一轮， $Y(5)=-2$ ；实际已运行五天、付过一次更换费，所以 $G(5)=15-8=7$ 。漏掉的是第二轮已经运行三天的九元收入。到恰好更换时，两轮都结清，。

完成周期报酬与实际累计报酬相差当前周期已产生的部分，更新时刻结清

末端误差为什么会消失

一般地，把实际累计报酬写成

G(t)=Y(t)+H_{N(t)+1}\bigl(t-S_{N(t)}\bigr),

其中 $H_n(s)$ 表示第 $n$ 个周期开始后 $s$ 个时间单位内积累的报酬， $0\le s<X_n$ 。

这里不能只说“最后一轮占比小”便结束证明：一轮很短，也可能发生很大的一笔收支。一个足够清楚的条件是，完整周期轨迹独立同分布，并且存在非负周期变量 $B_n$ ，使

|H_n(s)|\le B_n\quad(0\le s<X_n), \qquad \mathbb EB_1<\infty.

$B_n$ 可以取本周期所有收入与支出的绝对金额之和，而不是相互抵消后的净额。

为什么这个条件有效？对独立同分布、可积的 $B_n$ ，强大数定律说明

\frac{B_n}{n} =\frac{\sum_{i=1}^nB_i}{n} -\frac{n-1}{n}\frac{\sum_{i=1}^{n-1}B_i}{n-1} \longrightarrow0.

因此

\frac{B_{N(t)+1}}t =\frac{B_{N(t)+1}}{N(t)+1}\cdot\frac{N(t)+1}t \longrightarrow0.

于是 $|G(t)-Y(t)|/t\to0$ ，实际报酬率与周期末结账报酬率具有相同极限。

在设备例子中，可以用 $B_n=3X_n+8$ 控制周期内的全部收支，均值有限。若周期内只累计非负报酬，还可以直接把实际累计量夹在“前 $N(t)$ 个完整周期总量”和“前 $N(t)+1$ 个完整周期总量”之间，得到同一结论。

有正有负的报酬不能直接使用非负情形的上下界。一笔巨额收入与巨额支出可能使周期净额很小，但周期中途的累计量仍然很大。只知道净报酬的绝对期望有限，不足以替代上面对周期内波动的控制。

起初不是全新状态，也可以单独记账

如果观察开始时设备已经运行了一段时间，可以等到第一次真正再生的时刻 $\tau_0$ ，把之前的收入单独记为 $C_0$ 。在 $\tau_0$ 和 $∣$ 几乎必然有限、之后满足上面条件时，

\frac{G(t)}t =\frac{C_0}t+ \frac{t-\tau_0}{t}\, \frac{G_{\text{新}}(t-\tau_0)}{t-\tau_0} \longrightarrow\frac{\mathbb ER}{\mathbb EX}.

这说明一次有限的启动或购置影响不会改变路径的长期率。这里没有宣称可以把极限直接移进期望；期望极限需要另外控制可积性。

把维修停机也放进周期

现在每轮先运行 $U_n$ ，再维修 $D_n$ ，维修完成时进入下一轮。假设 $(U_n,D_n)$ 跨周期独立同分布，，二者均值有限。它们在同一周期内可以相关，例如严重故障往往出现在长时间运行之后。

完整周期长度是

X_n=U_n+D_n.

若只把 $U_n$ 放在分母，算出的是按运行时间归一的量，无法回答日历时间里的可用率或收益。

把运行期间的报酬率设为一、维修期间设为零，则每周期报酬为 $U_n$ ，长期可用率为

\boxed{A=\frac{\mathbb EU}{\mathbb EU+\mathbb ED}.}

维修比例为 $\mathbb ED/(\mathbb EU+\mathbb ED)$ ，两者相加为一。每周期发生一次故障，所以长期故障次数率为 $1/(\mathbb EU+\mathbb ED)$ 。它与“处于故障状态的时间比例”不是同一个单位。

若运行时每小时净收入 $a$ ，维修时每小时支出 $b$ ，每次维修还固定支出 $c$ ，周期净报酬为

R=aU-bD-c,

长期按日历时间计算的净收益率为

\boxed{\frac{a\mathbb EU-b\mathbb ED-c} {\mathbb EU+\mathbb ED}.}

例如平均运行十八小时、维修两小时，运行收入 $a=5$ 元/小时、维修支出 $b=1$ 元/小时、固定费用 $c=12$ 元，得到可用率 $18/20=0.9$ ，每小时故障次数 $1/20$ ，净收益率

\frac{5\times18-1\times2-12}{20}=3.8\text{ 元/小时}.

每轮维修都可能不同，不影响这里按周期求期望。真正需要核验的是各轮确实回到同一概率状态，以及这些周期平均量存在。

把开头两天或四天的寿命模型加上一天维修、更换费仍为八元、维修时无其他收支，周期平均长度变为四天，净报酬均值仍为一元，因此长期净收益率降为 $1/4$ 元/天。维修没有让运行每天少赚，却让获得这些收入花了更多日历时间。

在账本里先保留两天、四天两种寿命，比较“总净收益除以总时间”与“各轮收益率等权平均”。把观察时刻移到一轮中间，再移到维修完成点，检查实际累计收入与已结清账目的差。增加维修时间后，观察运行收益、停机成本和完整周期长度分别如何变化。随机模式的理论值由输入分布计算；手动录入几轮记录时，页面只报告这些记录的统计量，不把它冒充为未知模型的理论值。

库存：一轮里占用了多少货物时间

考虑一个明确的补货模型。顾客按速率 $\lambda$ 的 Poisson 过程到达，每人购买一件；库存从整数 $Q\ge1$ 开始，卖完第 $Q$ 件时立即补回 $Q$ 件，不发生缺货等待。

一次补货完成到下一次补货完成之间，恰好经历 $Q$ 次需求。未来 Poisson 增量与过去独立，所以这些周期独立同分布。令各次需求间隔为独立的 $E_1,\ldots,E_Q\sim\operatorname{Exp}(\lambda)$ ，则

X=E_1+\cdots+E_Q,\qquad \mathbb EX=Q/\lambda.

每周期销量恒为 $Q$ ，长期销量率为 $Q/(Q/\lambda)=\lambda$ 。每周期只订货一次，订货次数率则为 $\lambda/Q$ 。

平均库存要换一种报酬。在第一段等待中存有 $Q$ 件，下一段为 $Q-1$ 件，依次到最后一段的一件，因此周期库存面积为

R_{\text{库存}} =QE_1+(Q-1)E_2+\cdots+E_Q.

其单位是“件·小时”，不是件数。取期望并除以周期平均长度，

\begin{aligned} \mathbb ER_{\text{库存}} &=\frac{Q+(Q-1)+\cdots+1}{\lambda} =\frac{Q(Q+1)}{2\lambda},\\ \overline I &=\frac{\mathbb ER_{\text{库存}}}{\mathbb EX} =\frac{Q+1}{2}. \end{aligned}

这里出现 $(Q+1)/2$ ，因为系统按件跳减，并在 $Q,Q-1,\ldots,1$ 各停留一段时间；不能套用连续匀速消耗模型中的三角形面积 $Q/2$ 。库存到零后立刻补货，零库存状态不占正的时间长度。

离散需求下库存依次在整数水平停留，平均库存由阶梯下面积得到

如果每件货物每小时持有成本为 $h$ 元，每次订货费用为 $c$ 元，长期成本率就是

C(Q)=h\frac{Q+1}{2}+c\frac{\lambda}{Q}.

第一项随批量增大而增加，第二项随订货频率下降而减少。例如 $\lambda=3,h=2,c=12$ 时， $Q=4$ 的成本率为 $5+9=14$ 元/小时；时为元/小时。比较方案之前，应确认它们使用同一套需求、补货和成本假设。

若补货需要两小时，或者缺货顾客会留下订单，这个立即补货模型就变了。周期需要包含补货等待，状态也要记录积压。对于一般更新需求，在任意补货时刻，下一位顾客的剩余等待还可能依赖上一次到达距今多久；库存回到同一个数量，本身并不保证未来已重置。

顾客平均，需要按顾客数量加权

在稳定的单服务台中，可以选取“系统清空的离开时刻”为切点。一个周期由随后的空闲期，加上从下一位顾客到达开始直到再次清空的完整忙期组成。不要把系统保持为空的每一个时刻都当成新的周期。

外部到达为 Poisson 过程、服务时间独立同分布且与到达独立时，这样的切法具有再生结构；还要检查所需周期均值有限。若一般更新到达流在清空时留下了有历史信息的到达余寿命，只知道队长为零就未必足够。

记一个周期的长度为 $X$ ，服务人数为 $K$ ，所有顾客的等待时间总和为

H=\sum_{\text{本周期顾客 }j}W_{q,j}.

设 $0<\mathbb EX<\infty$ 、 $0<\mathbb EK<\infty$ 、 $\mathbb EH<\infty$ 。周期从空系统开始，也在空系统结束，没有顾客跨过切点。按第八章的面积恒等式，正是周期内队列人数曲线下面积。因此

\lambda_{\text{有效}}=\frac{\mathbb EK}{\mathbb EX}, \qquad L_q=\frac{\mathbb EH}{\mathbb EX}.

而按顾客编号对越来越多完整周期内的顾客取平均，得到

\boxed{W_q=\frac{\mathbb EH}{\mathbb EK}.}

证明不需要猜抽样分布：

\frac{\sum_{i=1}^nH_i}{\sum_{i=1}^nK_i} =\frac{n^{-1}\sum_iH_i}{n^{-1}\sum_iK_i} \longrightarrow\frac{\mathbb EH}{\mathbb EK}.

分母在数顾客，而不是数周期。于是 $L_q=\lambda_{\text{有效}}W_q$ ，与上一章的 Little 关系衔接。

假设某个满足上述条件的再生系统，周期的 $(K,H)$ 以各 $1/2$ 的概率取 $(2,2)$ 、 $(6,18)$ ，其中 $H$ 的单位为人·小时，且周期长度均值为十小时。那么

\mathbb EK=4,\quad \mathbb EH=10, \quad \lambda_{\text{有效}}=0.4,\quad L_q=1,\quad W_q=2.5\text{ 小时}.

若先算每周期的平均等待，再等权平均，则是 $\tfrac12(2/2)+\tfrac12(18/6)=2$ 小时。六位顾客的一轮被赋予了与两位顾客的一轮相同的权重，因而没有回答普通顾客的平均等待。

周期平均、时间平均与顾客平均的分母不同，顾客多的周期应获得更大顾客权重

这里的顾客平均由实际顾客总量比得到，不以 PASTA 为前提。PASTA 解决的是“到达顾客看到的状态分布，能否等同于时间状态分布”，是另一个问题。若只知道平均每周期服务四人、周期平均十小时，能够求服务率，却还没有得到等待总量 $H$ ，所以不能求平均等待时间。

马尔可夫链回访，也能组成周期

对一条有限状态、不可约的离散时间马尔可夫链 $Z_n$ ，从状态 $i$ 开始，定义下一次回到 $i$ 的时刻

\tau_i=\inf\{n\ge1:Z_n=i\}.

有限不可约性保证返回发生且平均返回时间有限。强 Markov 性使各次回访之间的路径片段独立同分布。这里要求 $n\ge1$ ：当前时刻已经在 $i$ ，不能把当前时刻再算作下一次返回。

统计一个周期时，采用半开区间 $0,1,\ldots,\tau_i-1$ ，把末端返回的 $i$ 留给下一轮。令

V_j=\sum_{n=0}^{\tau_i-1}\mathbf1_{\{Z_n=j\}}.

每步恰在一个状态，故 $\sum_jV_j=\tau_i$ 。再生报酬定理给出长期访问比例

\boxed{\pi_j=\frac{\mathbb E_iV_j}{\mathbb E_i\tau_i}.}

这些数非负且相加为一。为什么它们也满足平稳方程？周期起点和终点都是 $i$ ，所以把统计位置从 $0,\ldots,\tau_i-1$ 移到 $1,\ldots,\tau_i$ ，各状态的次数不变。对每一步按当前状态条件化，

\mathbb E_iV_k =\mathbb E_i\sum_{n=0}^{\tau_i-1}\mathbf1_{\{Z_{n+1}=k\}} =\sum_j\mathbb E_iV_j\,P_{jk}.

其中“第 $n$ 步仍在本周期内”由当时及以前的信息确定，可以在该事件上使用一步转移概率。除以 $\mathbb E_i\tau_i$ ，就得到 $\pi P=\pi$ 。这把第四章的平稳分布方程与完整回访周期连在一起。

每个周期只在起点计一次 $i$ ，因此 $V_i=1$ ，特别有

\pi_i=\frac1{\mathbb E_i\tau_i}.

用一轮回访求两个状态的比例

设状态为 $0,1$ ，转移矩阵为

P=\begin{pmatrix}3/4&1/4\\1/2&1/2\end{pmatrix}.

从 $0$ 开始，第一步以概率 $3/4$ 已回到 $0$ ，周期只有一步；以概率 $1/4$ 进入 $1$ ，之后每步以概率 $1/2$ 返回 $0$ ，平均还要两步。因此

\mathbb E_0\tau_0=1+\frac14\cdot2=\frac32.

进入 $1$ 后，在 $1$ 的平均访问次数为二，故 $\mathbb E_0V_1=(1/4)\cdot2=1/2$ 。得到

\pi_0=\frac1{3/2}=\frac23,\qquad \pi_1=\frac{1/2}{3/2}=\frac13.

代回 $\pi P=\pi$ 可以核验。若换成两个状态确定交替的链，每轮长度恒为二，两种状态各占一步，时间比例仍各为 $1/2$ ；但从状态 $0$ 出发，每一步的分布一直交替。再生时间比例并不额外保证逐步分布收敛。

尚未进入长期时，用首周期分解

长期率回答的是 $t$ 越来越大时的主导行为。如果只给一个较短的时间窗，报酬可能还没有来得及结算，就需要有限时间计算。

仍约定只在周期末支付 $R_n$ 。定义

v(t)=\mathbb EY(t),\qquad g(t)=\mathbb E\bigl[R_1\mathbf1_{\{X_1\le t\}}\bigr].

这些期望有意义：已完成周期的绝对报酬总量可由包括当前周期在内的总绝对报酬控制，而

\begin{aligned} \mathbb E\sum_{n=1}^{N(t)+1}|R_n| &=\sum_{n\ge1}\mathbb E\bigl[|R_n|\mathbf1_{\{S_{n-1}\le t\}}\bigr]\\ &=\mathbb E|R|\sum_{n\ge1}\mathbb P(S_{n-1}\le t)\\ &=\mathbb E|R|\,\bigl(\mathbb EN(t)+1\bigr)<\infty. \end{aligned}

独立性用在当前周期的 $R_n$ 与前面累计时刻 $S_{n-1}$ 之间；不是要求 $R_n$ 与自己的独立。第七章已经证明有限时。

若第一轮长于 $t$ ，没有结账；若第一轮在 $x\le t$ 完成，先结算它的报酬，之后剩余的 $t-x$ 时间内又是同一问题。令 $F$ 为周期长度分布，得到

\boxed{v(t)=g(t)+\int_{(0,t]}v(t-x)\,dF(x).}

第一项必须保留报酬与长度的联合信息。只有 $R$ 与 $X$ 独立时，才可把 $g(t)$ 简化成 $\mathbb ER\cdot F(t)$ 。取 $R\equiv1$ ，就还原为第七章的更新函数方程。

首周期长度决定是否结账和剩余时限，首项必须按长度对应的报酬加权

一个会先亏后赚的递推

设每轮独立选择两种结果：

(X,R)= \begin{cases} (1,-1),&\text{概率 }1/2,\\ (3,5),&\text{概率 }1/2. \end{cases}

短周期结算亏损，长周期结算收入。虽然长期率为 $\mathbb ER/\mathbb EX=2/2=1$ ，头两天不可能完成三天周期，有限时间的期望报酬自然可能为负。

记 $v_k=v(k)$ ，取 $v_0=0$ ，负下标为零。首周期项为

g_k=-\tfrac12\mathbf1_{\{k\ge1\}} +\tfrac52\mathbf1_{\{k\ge3\}},

所以对整数 $k\ge1$ ，

v_k=g_k+\tfrac12v_{k-1}+\tfrac12v_{k-3}.

依次得到

v_1=-\frac12,\qquad v_2=-\frac34,\qquad v_3=\frac{13}{8},\qquad v_4=\frac{41}{16}.

例如第二天之前，要么第一轮是一天并继续尝试下一轮，要么第一轮是三天、尚未结账。直接用 $g_2=-1/2$ 和 $v_1=-1/2$ ，得到 $v_{2} = - 1 / 2 - 1 / 4 = -$ 。期望更新次数不随时间下降，但有符号的期望净报酬可以下降；不能把前一章的单调性原样搬过来。

把时限从两天改到三天，观察哪些分支第一次有机会结算五元收入。点选递推式中的一个周期长度，核对它对应的概率、首轮报酬和剩余时限。再把两种周期报酬都改为一，检查结果怎样退回期望更新次数。时间线、分支树和递推表应给出同一答案，而长期参考线只用于比较，不替代有限时刻的计算。

练习

1．先辨认统计口径

每轮长度以相同概率取一小时、九小时，报酬恒为六元。求长期每小时收入，并求等机会抽一个周期时的平均周期收入率。解释两个结果为什么不同。

2．相关并不意味着不能使用定理

周期长度独立以相同概率取两小时、六小时，周期报酬为 $R=12-2X$ 。求长期报酬率。若下一轮长度总是复制上一轮长度，原证明哪一步需要重新检查？

原模型中 $\mathbb EX=4$ 、 $\mathbb ER=4$ ，长期率为一元/小时。 $R$ 与本轮 $X$ 相关没有破坏成对变量跨周期独立同分布。若后一轮总复制前一轮，则不同周期不独立：整条路径可能一直为两小时或一直为六小时，相应报酬率为四或零，不会统一趋于一。样本平均收敛到同一个期望的步骤已经不能照用。

3．把中途账目算清楚

设备前两轮运行时间为两天、四天，每轮运行后维修一天。运行每天收入三元，维修时没有收入，每次维修完成时支付八元。以首次全新投入使用为零时刻。求 $t=2.5,3,5,8$ 时的实际净收入与已完成周期报酬。

第一轮是运行 $[0,2)$ 、维修 $[2,3)$ ；第二轮是运行 $[3,7)$ 、维修 $[7,8)$ 。周期终点为三、八。

在 $2.5$ 天，实际收入为六元、尚未付费，已完成周期报酬为零。在三天，支付八元，两者均为。在五天，第二轮已经运行两天，实际净收入为，已结清报酬仍为。在八天，第二轮四天收入十二元并支付八元，两轮总净额为，两种账目再次相等。

4．维修方案比较

两种方案都使设备每轮平均运行十二小时。甲平均维修三小时，每轮固定维修费十元；乙平均维修一小时，每轮固定维修费二十元。运行每小时收入四元，维修时无其他收支。求两种方案的可用率与净收益率。较高可用率是否必然带来较高收益？

运行时长 U、维修时长 D，一个周期为运行加维修。长期可用率应写成哪一项？

周期净报酬可以为负，同一周期的报酬也可以与长度相关；这两点本身不妨碍使用周期末结账的更新报酬定理。

7．库存的面积和订货次数

沿用正文的即时补货模型，需求率每小时四件，每件每小时持有成本两元，每次订货费用十八元。分别算 $Q=8$ 和 $Q=9$ 的平均库存、订货次数率和长期成本。若把平均库存误写成 $Q/2$ ，会少算什么？

8．顾客平均不能按周期等权

某再生服务模型的两个周期类型分别为：以概率 $1/3$ 服务一人，总等待为零；以概率 $2/3$ 服务四人，总等待八人·小时。周期平均长度为六小时。求有效服务率、时间平均等待人数和顾客平均等待时间。

9．换一组转移概率，用回访周期计算

两状态链满足 $P_{01}=\alpha$ 、 $P_{10}=\beta$ ，其中 $0<\alpha,\beta\le1$ 。从状态开始，求平均回访时间和长期访问比例。说明时有什么需要区分。

10．首项要保留长度与报酬的关联

周期的 $(X,R)$ 以各 $1/2$ 的概率取 $(1,2)$ 、 $(2,-1)$ 。报酬只在周期末结算。写出 $g_1,g_2$ ，求，再求长期报酬率。

11．回到计数过程

在上一题中，把两种报酬都改为一。求前三个整数时刻的期望更新次数，并解释为什么这时首项是 $F(k)$ 。

12．启动段和“忘记历史”

一个系统先经历几乎必然有限的安装时间，安装期间总成本也几乎必然有限，之后进入满足本章条件的独立同分布周期。安装时间的期望可能无穷，这是否必然破坏路径的长期报酬率？如果每轮都留下会影响下一轮的积压，又有什么不同？

不必然破坏。对每条安装终于完成且成本有限的路径，固定的启动时间和成本除以越来越大的 $t$ 都趋于零；之后的时间占比趋于一。这个论证给出路径极限，不能顺便声称期望极限也成立。

每轮遗留积压则不是一次有限启动影响：它反复改变后续周期规律，原切点没有重置未来。需要把积压加入状态、寻找真正的再生状态，或使用适合带状态依赖的模型，不能直接沿用独立同分布周期证明。

\mathbb E|R/X|<\infty

C_{0}

∣

|C_0|

H

H

3

/

4

v_2=-1/2-1/4=-3/4

(48 - 20) / 13 = 28 / 13 \approx 2.154

(48-20)/13=28/13\approx2.154