联合分布、多元随机变量与相关结构 | 概率论 I | 自在学
数学 概率论 I：随机变量、分布、期望与极限定理 联合分布、多元随机变量与相关结构 联合分布、多元随机变量与相关结构
前面几章一直在看一个随机变量：它把一次随机试验的结果变成数轴上的一个数。很多问题不会只记录一个数。一次学生调查可能同时记录学习时间和测验成绩；一次设备测试可能同时记录温度、压力和寿命；一次金融观察可能同时记录两只资产的收益率。
这一章把随机变量从一个扩展到多个。重点不是把公式写得更长，而是学会问一个更完整的问题：这些量各自怎样分布，它们又怎样一起变化？
两个随机变量把样本点映射成二维平面上的点，联合分布记录这些点如何带着概率出现。 联合分布回答什么问题
设 X X X Y Y Y X X X X X X Y Y Y Y Y Y
P ( X ∈ A , Y ∈ B ) P(X \in A,\ Y \in B) P ( X ∈ A , Y ∈ B )
也就是两个条件同时发生的概率。这里的逗号通常读作“并且”。它不是两个概率的简单并列，而是描述 X X X Y Y Y
如果把 X X X Y Y Y
Z = ( X , Y ) \mathbf{Z}=(X,Y) Z = ( X , Y ) X = ( X 1 , X 2 , … , X d ) \mathbf{X}=(X_1,X_2,\ldots,X_d) X = ( X 1 , X 2 , … , X d ) 这一章主要讲二维情形，因为二维已经能展示联合分布、边缘分布、独立性和相关结构的核心。高维情形的符号更长，但想法相同。
联合分布比边缘分布包含更多信息。知道每个随机变量自己的分布，并不一定知道它们怎样配对出现。
离散情形：联合 PMF 与边缘分布 如果 X X X Y Y Y
p X , Y ( x , y ) = P ( X = x , Y = y ) p_{X,Y}(x,y)=P(X=x,\ Y=y) p X , Y ( x , y ) = P ( X = x , Y = y ) p X , Y ( x , y ) ≥ 0 p_{X,Y}(x,y)\ge 0 p X , Y ( x , y ) ≥ 0 ∑ x ∑ y p X , Y ( x , y ) = 1 \sum_x \sum_y p_{X,Y}(x,y)=1 x ∑ y ∑ p X , Y ( x , y ) = 1 离散联合分布常用表格表示。每个单元格是一个二元取值同时发生的概率。把某一列或某一行加起来，就会得到单个随机变量的分布，这叫边缘分布。
联合 PMF 表中的每个单元格描述一对取值，行和列的求和给出边缘分布。 设 X X X 0 , 1 , 2 0,1,2 0 , 1 , 2 Y Y Y 0 , 1 , 2 0,1,2 0 , 1 , 2
从表中读出边缘分布时，要先固定一个变量，再把另一个变量的所有可能取值加掉：
p X ( x ) = ∑ y p X , Y ( x , y ) p_X(x)=\sum_y p_{X,Y}(x,y) p X ( x ) = y ∑ p X , Y ( x , y ) p Y ( y ) = ∑ x p X , Y ( x , y ) p_Y(y)=\sum_x p_{X,Y}(x,y) p Y ( y ) = x ∑ p X , Y ( x , y ) p X ( 1 ) = 0.15 + 0.10 + 0.10 = 0.35 p_X(1)=0.15+0.10+0.10=0.35 p X ( 1 ) = 0.15 + 0.10 + 0.10 = 0.35 p Y ( 1 ) = 0.20 + 0.10 + 0.20 = 0.50 p_Y(1)=0.20+0.10+0.20=0.50 p Y ( 1 ) = 0.20 + 0.10 + 0.20 = 0.50
例题：从联合表计算期望和协同变化 沿用上面的联合 PMF，求 E [ X ] E[X] E [ X ] E [ Y ] E[Y] E [ Y ] E [ X Y ] E[XY] E [ X Y ]
先用边缘分布计算 E [ X ] E[X] E [ X ] p X ( 0 ) = 0.35 p_X(0)=0.35 p X ( 0 ) = 0.35 p X ( 1 ) = 0.35 p_X(1)=0.35 p X ( 1 ) = 0.35 p X ( 2 ) = 0.30 p_X(2)=0.30 p X ( 2 ) = 0.30 E [ X ] = 0 ⋅ 0.35 + 1 ⋅ 0.35 + 2 ⋅ 0.30 = 0.95 E[X]=0\cdot 0.35+1\cdot 0.35+2\cdot 0.30=0.95 E [ X ] = 0 ⋅ 0.35 + 1 ⋅ 0.35 + 2 ⋅ 0.30 = 0.95
再用行和计算 E [ Y ] E[Y] E [ Y ] p Y ( 0 ) = 0.30 p_Y(0)=0.30 p Y ( 0 ) = 0.30 p Y ( 1 ) = 0.50 p_Y(1)=0.50
计算 E [ X Y ] E[XY] E [ X Y ] X Y XY X Y
E [ X Y ] = ∑ x ∑ y x y p X , Y ( x , y ) = 0.90 E[XY]=\sum_x\sum_y xy\,p_{X,Y}(x,y)=0.90 E [ X Y ] = x ∑ y ∑ x y p X , Y ( x , y ) = 0.90 这个 E [ X Y ] E[XY] E [ X Y ]
连续情形：联合 PDF 与区域概率 如果 X X X Y Y Y f X , Y ( x , y ) f_{X,Y}(x,y) f X , Y ( x , y )
P ( ( X , Y ) ∈ A ) = ∬ A f X , Y ( x , y ) d x d y P((X,Y)\in A)=\iint_A f_{X,Y}(x,y)\,dx\,dy P (( X , Y ) ∈ A ) = ∬ A f X , Y ( x , y ) d x d y 联合 PDF 必须非负，并且在整个平面上的积分为 1 1 1
f X , Y ( x , y ) ≥ 0 f_{X,Y}(x,y)\ge 0 f X , Y ( x , y ) ≥ 0 ∫ − ∞ ∞ ∫ − ∞ ∞ f X , Y ( x , y ) d x d y = 1 \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f_{X,Y}(x,y)\,dx\,dy=1 ∫ − ∞ ∞ ∫ − ∞ ∞ f X , Y ( x , y ) d x d y = 1 边缘密度同样来自“把另一个变量加掉”，只是离散情形的求和换成积分：
f X ( x ) = ∫ − ∞ ∞ f X , Y ( x , y ) d y f_X(x)=\int_{-\infty}^{\infty} f_{X,Y}(x,y)\,dy f X ( x ) = ∫ − ∞ ∞ f X , Y ( x , y ) d y f Y ( y ) = ∫ − ∞ ∞ f X , Y ( x , y ) d x f_Y(y)=\int_{-\infty}^{\infty} f_{X,Y}(x,y)\,dx f Y ( y ) = ∫ − ∞ ∞ f X , Y ( x , y ) d x 连续情形中，边缘密度是把联合密度沿另一个方向积分后得到的投影。
例题：三角区域上的联合密度 f X , Y ( x , y ) = { 2 , 0 < x < y < 1 , 0 , 其他情形 . f_{X,Y}(x,y)=
\begin{cases}
2, & 0<x<y<1,\\
0, & \text{其他情形}.
\end{cases} f X , Y ( x , y ) = { 2 , 0 , 0 < x < y < 1 , 其他情形 . 先检查它为什么是合法密度。因为支持区域是单位正方形内的上三角，面积为 1 / 2 1/2 1/2 2 2 2 1 1 1
求 X X X x x x 0 < x < y < 1 0<x<y<1 0 < x < y < 1 y y y x x x 1 1 1
f X ( x ) = ∫ x 1 2 d y = 2 ( 1 − x ) , 0 < x < 1 f_X(x)=\int_x^1 2\,dy=2(1-x),\quad 0<x<1 f X ( x ) = ∫ x 1 2 d y = 2 ( 1 − x ) , 0 < x < 1 求 Y Y Y y y y x x x 0 0 0 y y y
f Y ( y ) = ∫ 0 y 2 d x = 2 y , 0 < y < 1 f_Y(y)=\int_0^y 2\,dx=2y,\quad 0<y<1 f Y ( y ) = ∫ 0 y 2 d x = 2 y , 0 < y < 1 P ( X < 1 / 2 ) = ∫ 0 1 / 2 2 ( 1 − x ) d x = 3 4 P(X<1/2)=\int_0^{1/2}2(1-x)\,dx=\frac{3}{4} P ( X < 1/2 ) = ∫ 0 1/2 2 ( 1 − x ) d x = 4 3 连续联合密度在某一点的数值可以大于 1，也可以小于 1；它不是概率。真正的概率来自区域面积上的积分。
二维分布函数 F X , Y ( x , y ) = P ( X ≤ x , Y ≤ y ) F_{X,Y}(x,y)=P(X\le x,\ Y\le y) F X , Y ( x , y ) = P ( X ≤ x , Y ≤ y ) 它对应平面中点 ( x , y ) (x,y) ( x , y )
二维 CDF 的核心图像是左下方区域：同时满足 X ≤ x X\le x X ≤ x Y ≤ y Y\le y Y ≤ y P ( a < X ≤ b , c < Y ≤ d ) P(a<X\le b,\ c<Y\le d) P ( a < X ≤ b , c < Y ≤ d ) P ( a < X ≤ b , c < Y ≤ d ) = F X , Y ( b , d ) − F X , Y ( a , d ) − F X , Y ( b , c ) + F X , Y ( a , c ) P(a<X\le b,\ c<Y\le d)
=F_{X,Y}(b,d)-F_{X,Y}(a,d)-F_{X,Y}(b,c)+F_{X,Y}(a,c) P ( a < X ≤ b , c < Y ≤ d ) = F X , Y ( b , d ) − F X , Y ( a , d ) − F X , Y ( b , c ) + F X , Y ( a , c ) 这和前面事件容斥的思路一致。先取到右上角的累计概率，再去掉左边和下边多算的部分，最后把左下角被减掉两次的部分加回来。
独立随机变量的联合分解 两个随机变量独立，意思是一个变量落入某个集合的信息不会改变另一个变量落入某个集合的概率。对任意合适的集合 A A A B B B
P ( X ∈ A , Y ∈ B ) = P ( X ∈ A ) P ( Y ∈ B ) P(X\in A,\ Y\in B)=P(X\in A)P(Y\in B) P ( X ∈ A , Y ∈ B ) = P ( X ∈ A ) P ( Y ∈ B ) 在离散情形，这等价于对所有 x , y x,y x , y
p X , Y ( x , y ) = p X ( x ) p Y ( y ) p_{X,Y}(x,y)=p_X(x)p_Y(y) p X , Y ( x , y ) = p X ( x ) p Y ( y ) f X , Y ( x , y ) = f X ( x ) f Y ( y ) f_{X,Y}(x,y)=f_X(x)f_Y(y) f X , Y ( x , y ) = f X ( x ) f Y ( y ) F X , Y ( x , y ) = F X ( x ) F Y ( y ) F_{X,Y}(x,y)=F_X(x)F_Y(y) F X , Y ( x , y ) = F X ( x ) F Y ( y ) 独立时联合结构可以拆成两个边缘的乘积；非独立时，联合图像中会出现不能由单个变量解释的结构。 p X , Y ( 0 , 0 ) = 0.10 p_{X,Y}(0,0)=0.10 p X , Y ( 0 , 0 ) = 0.10 p X ( 0 ) p Y ( 0 ) = 0.35 × 0.30 = 0.105 p_X(0)p_Y(0)=0.35\times 0.30=0.105 p X ( 0 ) p Y ( 0 ) = 0.35 × 0.30 = 0.105 两者不相等，所以 X X X Y Y Y
连续三角密度的例子也不独立。因为它的支持区域是 0 < x < y < 1 0<x<y<1 0 < x < y < 1 Y = y Y=y Y = y X X X y y y
边缘分布相同不代表联合分布相同。两组变量可以有完全一样的 f X f_X f X f Y f_Y f Y
协方差与相关系数 联合分布可以给出很多描述“共同变化”的量。最常用的是协方差：
Cov ( X , Y ) = E [ ( X − E [ X ] ) ( Y − E [ Y ] ) ] \operatorname{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])] Cov ( X , Y ) = E [( X − E [ X ]) ( Y − E [ Y ])] Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] \operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y] Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] 如果 X X X Y Y Y ( X − E [ X ] ) ( Y − E [ Y ] ) (X-E[X])(Y-E[Y]) ( X − E [ X ]) ( Y − E [ Y ]) 0 0 0
ρ X , Y = Cov ( X , Y ) σ X σ Y \rho_{X,Y}=\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y} ρ X , Y = σ X σ Y Cov ( X , Y ) 这里要求 σ X > 0 \sigma_X>0 σ X > 0 σ Y > 0 \sigma_Y>0 σ Y > 0 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 1 1 1 − 1 -1 − 1 0 0 0
相关系数只测量线性方向和线性强度；弯曲结构可能让相关系数接近 0 0 0 E [ X ] = 0.95 , E [ Y ] = 0.90 , E [ X Y ] = 0.90 E[X]=0.95,\quad E[Y]=0.90,\quad E[XY]=0.90 E [ X ] = 0.95 , E [ Y ] = 0.90 , E [ X Y ] = 0.90 Cov ( X , Y ) = 0.90 − 0.95 × 0.90 = 0.045 \operatorname{Cov}(X,Y)=0.90-0.95\times 0.90=0.045 Cov ( X , Y ) = 0.90 − 0.95 × 0.90 = 0.045 E [ X 2 ] = 0 2 ⋅ 0.35 + 1 2 ⋅ 0.35 + 2 2 ⋅ 0.30 = 1.55 E[X^2]=0^2\cdot 0.35+1^2\cdot 0.35+2^2\cdot 0.30=1.55 E [ X 2 ] = 0 2 ⋅ 0.35 + 1 2 ⋅ 0.35 + 2 2 ⋅ 0.30 = 1.55 Var ( X ) = 1.55 − 0.95 2 = 0.6475 \operatorname{Var}(X)=1.55-0.95^2=0.6475 Var ( X ) = 1.55 − 0.9 5 2 = 0.6475 E [ Y 2 ] = 0 2 ⋅ 0.30 + 1 2 ⋅ 0.50 + 2 2 ⋅ 0.20 = 1.30 E[Y^2]=0^2\cdot 0.30+1^2\cdot 0.50+2^2\cdot 0.20=1.30 E [ Y 2 ] = 0 2 ⋅ 0.30 + 1 2 ⋅ 0.50 + 2 2 ⋅ 0.20 = 1.30 Var ( Y ) = 1.30 − 0.90 2 = 0.49 \operatorname{Var}(Y)=1.30-0.90^2=0.49 Var ( Y ) = 1.30 − 0.9 0 2 = 0.49 ρ X , Y = 0.045 0.6475 × 0.49 ≈ 0.08 \rho_{X,Y}
=\frac{0.045}{\sqrt{0.6475\times 0.49}}
\approx 0.08 ρ X , Y = 0.6475 × 0.49 0.045 ≈ 0.08 这个正相关很弱。虽然协方差为正，但表中的联合结构离“强线性关系”很远。
独立一定推出协方差为 0 0 0 0 0 0 0 0 0
多元随机变量与相关矩阵 X = ( X 1 , X 2 , … , X d ) \mathbf{X}=(X_1,X_2,\ldots,X_d) X = ( X 1 , X 2 , … , X d ) 联合分布描述这个向量在 d d d
Σ = ( Var ( X 1 ) Cov ( X 1 , X 2 ) ⋯ Cov ( X 1 , X d ) Cov ( X 2 , X 1 ) Var ( X 2 ) ⋯ Cov ( X 2 , X d ) ⋮ ⋮ ⋱ ⋮ Cov ( X d , X 1 ) Cov ( X d , X 2 ) ⋯ Var ( X d ) ) \Sigma=
\begin{pmatrix}
\operatorname{Var}(X_1) & \operatorname{Cov}(X_1,X_2) & \cdots & \operatorname{Cov}(X_1,X_d)\\
\operatorname{Cov}(X_2,X_1) & \operatorname{Var}(X_2) & \cdots & \operatorname{Cov}(X_2,X_d)\\
\vdots & \vdots & \ddots & \vdots\\
\operatorname{Cov}(X_d,X_1) & \operatorname{Cov}(X_d,X_2) & \cdots & \operatorname{Var}(X_d)
\end{pmatrix} Σ = Var ( X 1 ) Cov ( X 2 对角线是各自的方差，非对角线是两两协方差。它是对称矩阵，因为：
Cov ( X i , X j ) = Cov ( X j , X i ) \operatorname{Cov}(X_i,X_j)=\operatorname{Cov}(X_j,X_i) Cov ( X i , X j ) = Cov ( X j , X i ) 如果把协方差都标准化，就得到相关矩阵。相关矩阵的对角线都是 1 1 1 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ]
多元正态分布是一个很重要的例子。它的均值向量决定中心位置，协方差矩阵决定椭圆形状、方向和伸展程度。对于多元正态，若两个分量协方差为 0 0 0
常见误区
误区一：把联合概率当成边缘概率相乘 P ( X ∈ A , Y ∈ B ) = P ( X ∈ A ) P ( Y ∈ B ) P(X\in A,\ Y\in B)=P(X\in A)P(Y\in B) P ( X ∈ A , Y ∈ B ) = P ( X ∈ A ) P ( Y ∈ B ) 如果题目没有给独立，不能默认相乘。很多实际问题中，两个变量正是因为有关系才被一起研究。
误区二：把不相关当成独立 设 X X X [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] Y = X 2 Y=X^2 Y = X 2 Y Y Y X X X E [ X 3 ] = 0 E[X^3]=0 E [ X 3 ] = 0 Cov ( X , Y ) = 0 \operatorname{Cov}(X,Y)=0 Cov ( X , Y ) = 0
误区三：忽略支持区域 连续联合密度不能只看公式，还要看在哪个区域上非零。前面的三角密度 f ( x , y ) = 2 f(x,y)=2 f ( x , y ) = 2 0 < x < y < 1 0<x<y<1 0 < x < y < 1
误区四：只看相关系数大小 相关系数接近 0 0 0
练习
练习一：联合表的合法性 显示答案 不是合法的联合 PMF。所有单元格都非负，但总和是 0.20 + 0.30 + 0.10 + 0.35 = 0.95 0.20+0.30+0.10+0.35=0.95 0.20 + 0.30 + 0.10 + 0.35 = 0.95 1 1 1
练习二：求边缘分布 对练习一的表，把右下角改成 0.40 0.40 0.40 p X ( 0 ) p_X(0) p X ( 0 ) p X ( 1 ) p_X(1) p X ( 1 ) p Y ( 0 ) p_Y(0) p Y ( 0 ) p Y ( 1 ) p_Y(1) p Y ( 1 )
显示答案 修改后总和为 1 1 1 p X ( 0 ) = 0.20 + 0.10 = 0.30 p_X(0)=0.20+0.10=0.30 p X ( 0 ) = 0.20 + 0.10 = 0.30 p X ( 1 ) = 0.30 + 0.40 = 0.70 p_X(1)=0.30+0.40=0.70 p X ( 1 ) = 0.30 + 0.40 = 0.70 p Y ( 0 ) = 0.20 + 0.30 = 0.50 p_Y(0)=0.20+0.30=0.50 p Y ( 0 ) = 0.20 + 0.30 = 0.50 p Y ( 1 ) = 0.10 + 0.40 = 0.50 p_Y(1)=0.10+0.40=0.50 p Y ( 1 ) = 0.10 + 0.40 = 0.50
练习三：检查独立性 沿用练习二的合法联合表，判断 X X X Y Y Y
显示答案 不独立。若独立，应有 p X , Y ( 0 , 0 ) = p X ( 0 ) p Y ( 0 ) p_{X,Y}(0,0)=p_X(0)p_Y(0) p X , Y ( 0 , 0 ) = p X ( 0 ) p Y ( 0 ) 0.20 0.20 0.20 0.30 × 0.50 = 0.15 0.30\times 0.50=0.15 0.30 × 0.50 = 0.15
练习四：连续边缘密度 f X , Y ( x , y ) = { 6 x y , 0 < x < 1 , 0 < y < 1 , 0 , 其他情形 . f_{X,Y}(x,y)=
\begin{cases}
6xy, & 0<x<1,\ 0<y<1,\\
0, & \text{其他情形}.
\end{cases} f X , Y ( x , y ) = { 6 x y , 0 , 0 < x < 1 , 0 < y < 1 , 其他情形 . 这个函数是不是合法的联合密度？如果不是，应该怎样修改常数？
显示答案 在单位正方形上积分得到 ∫ 0 1 ∫ 0 1 6 x y d y d x = 6 ⋅ 1 2 ⋅ 1 2 = 1.5 \int_0^1\int_0^1 6xy\,dy\,dx=6\cdot \frac{1}{2}\cdot \frac{1}{2}=1.5 ∫ 0 1 ∫ 0 1 6 x y d y d x = 6 ⋅ 2 1 ⋅ 2 1 = 1.5 c x y cxy c x y c ⋅ 1 2 ⋅ 1 2 = 1 c\cdot \frac{1}{2}\cdot \frac{1}{2}=1 c ⋅ 2 1 ⋅ 2 1 = 1 c = 4 c=4 c = 4
练习五：不相关但不独立 设 X X X 1 / 3 1/3 1/3 − 1 , 0 , 1 -1,0,1 − 1 , 0 , 1 Y = X 2 Y=X^2 Y = X 2 X X X Y Y Y Cov ( X , Y ) \operatorname{Cov}(X,Y) Cov ( X , Y )
显示答案 Y Y Y X X X P ( Y = 0 ) = 1 / 3 P(Y=0)=1/3 P ( Y = 0 ) = 1/3 P ( Y = 0 ∣ X = 0 ) = 1 P(Y=0\mid X=0)=1 P ( Y = 0 ∣ X = 0 ) = 1 E [ X ] = 0 E[X]=0 E [ X ] = 0 E [ Y ] = 2 / 3 E[Y]=2/3 E [ Y ] = 2/3 X Y = X 3 XY=X^3 X Y = X 3 E [ X Y ] = E [ X 3 ] = ( − 1 + 0 + 1 ) / 3 = 0 E[XY]=E[X^3]=(-1+0+1)/3=0 E [ X Y ] = E [ X 3 ] = ( − 1 + 0 + 1 ) /3 = 0 Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] = 0 \operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]=0 Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] = 0
本章小结 联合分布描述多个随机变量怎样一起取值。离散情形用联合 PMF，连续情形用联合 PDF，二维 CDF 则从左下方累计概率的角度描述联合规律。
边缘分布来自对另一个变量求和或积分。这个操作会丢掉配对信息，所以边缘分布不能替代联合分布。独立性要求联合分布可以拆成边缘分布的乘积，这是很强的条件。
协方差和相关系数是描述共同变化的摘要。它们很有用，但只抓住线性层面的关系。真正判断变量之间的结构，仍要回到联合分布、支持区域、散点形状和建模条件。
p Y ( 1 ) =
0.50
p Y ( 2 ) = 0.20 p_Y(2)=0.20 p Y ( 2 ) = 0.20 E [ Y ] = 0 ⋅ 0.30 + 1 ⋅ 0.50 + 2 ⋅ 0.20 = 0.90 E[Y]=0\cdot 0.30+1\cdot 0.50+2\cdot 0.20=0.90 E [ Y ] = 0 ⋅ 0.30 + 1 ⋅ 0.50 + 2 ⋅ 0.20 = 0.90
,
X 1
)
⋮
Cov ( X d , X 1 )
Cov ( X 1 , X 2 ) Var ( X 2 ) ⋮ Cov ( X d , X 2 )
⋯ ⋯ ⋱ ⋯
Cov ( X 1 , X d ) Cov ( X 2 , X d ) ⋮ Var ( X d )
