Hilbert 空间与正交投影：把最小误差找出来

一个“最接近”问题

设 $f\in L^2([0,1];\mathbb R)$，你想用一条直线 $a+bt$ 近似它。直线不一定能完全穿过函数的图像，但可以问一个精确的问题：

这个问题看起来像计算题，真正的难点却在于“最小值为什么存在”“最优直线有什么可检查的特征”。在欧氏空间里，答案是把向量垂直落到一个子空间上；在函数空间里，这个几何动作仍然成立，只是“长度”变成了积分定义的长度。

算出一个候选直线之后，我还希望有办法检查：误差真的不能再小了吗？答案藏在残差里。它若与每个允许的调整方向都正交，继续沿这些方向移动就只会增加误差。我们会证明这个判据，也会处理它在无限维空间里遇到的存在性问题。

在实欧氏平面中，内积同时记录长度和夹角。图中的虚线给出两个向量在水平坐标轴上的分量，不表示把其中一个向量投影到另一个向量上。复 Hilbert 空间仍使用内积与范数，不能直接套用这张实平面的角度图。

内积把代数对象变成几何对象

令 $\mathbb F$ 表示 $\mathbb R$ 或 $\mathbb C$。向量空间 $H$ 上的内积是一个映射

满足以下条件。这里采用“第一个变量线性”的约定；在实数空间中，共轭可以全部删去。

1. $\langle x,y\rangle=\overline{\langle y,x\rangle}$；
2. $\langle \alpha x+\beta y,z\rangle=\alpha\langle x,z\rangle+\beta\langle y,z\rangle$；

由内积定义

正定性保证 $\|x\|=0$ 只能发生在零向量上。齐次性来自

还差三角不等式。正定性与齐次性都能直接从定义读出，这一步却需要控制两个向量之间的交叉项。

Cauchy–Schwarz 不等式的推导

对任意 $u,v\in H$，有

若 $v=0$，两边都是 0。设 $v\ne0$，取

由正定性，$\|u+\lambda v\|^2\ge0$。展开时要记得第二个变量会共轭：

最后一行使用了 $\langle v,u\rangle=\overline{\langle u,v\rangle}$。移项并乘以 $\|v\|^2$，得到

两边非负，开平方便得到结论。等号什么时候成立？刚才构造的 $u+\lambda v$ 必须具有零范数，也就是 $u$ 是 $v$ 的倍数。连同零向量的情形，等号恰好对应线性相关。实内积空间中，这说明两个非零向量夹角的余弦落在 $[-1,1]$；复内积空间则不把一般复数内积直接当作实角度的余弦。

由此还可以证明内积关于范数连续：

如果 $x_n\to x$、$y_n\to y$，序列 $\|y_n\|$ 有界，因此右边趋于 0。

同一个估计也补上范数的三角不等式：

两边开平方，得到 $\|u+v\|\le\|u\|+\|v\|$。因此内积确实诱导出一个范数和相应的度量。

平行四边形恒等式

把两个平方范数展开并相加，交叉项恰好抵消：

这条恒等式以后会承担一个很具体的任务：当一列候选解的误差越来越接近最小值时，用中点的误差控制候选解彼此的距离。

从内积空间到 Hilbert 空间

有了内积的向量空间称为内积空间。若它在诱导范数下完备，就称为 Hilbert 空间。完备的意思是：每个 Cauchy 列都在 $H$ 中收敛。

常见例子包括：

• $\mathbb R^n$ 或 $\mathbb C^n$，内积为 $\langle x,y\rangle=\sum_j x_j\overline{y_j}$；

定义里多出的完备性会在寻找最优解时用到。连续函数空间 $C[0,1]$ 若使用 $L^2$ 范数，存在一列连续函数在 $L^2$ 意义下收敛到一个不连续的阶跃函数；极限离开 $C[0,1]$，所以这个范数下的 不是 Hilbert 空间。把空间换成 ，极限才有地方安放。

正交、正交补与距离

若 $\langle x,y\rangle=0$，称 $x$ 与 $y$ 正交，记作 $x\perp y$。当 $x\perp y$ 时，直接展开平方范数，交叉项为零，便得到勾股恒等式：

向量 $p$ 从 $O$ 指向 $P$，残差 $r$ 从 $P$ 指向 $X$。两者相加得到 $x$；正交条件消去了平方范数展开后的交叉项。

对线性子空间 $M\subset H$，定义正交补

它总是闭子空间。线性来自内积的线性；闭性则来自内积连续性：若 $z_n\in M^\perp$ 且 $z_n\to z$，对任意 $m$，

所以 $z\in M^\perp$。注意这里不要求 $M$ 本身闭。

闭子空间上的投影定理

设 $H$ 是 Hilbert 空间，$M$ 是非空闭子空间。对给定 $x\in H$，考虑

投影定理说：存在唯一的 $p\in M$，使得 $\|x-p\|=d$，并且

下确界 $d$ 存在，并不等于存在一个向量达到它。我们要从越来越好的候选中找出极限。

分解的唯一性也给出线性性。若 $x=p+r$、$y=q+s$，则 $\alpha p+\beta q\in M$，，它们正好组成 的分解，因此

投影算子 $P_M$ 还有三个直接性质：$P_M^2=P_M$，，。若 ， 是两次分解，则

因为 $p-q$ 是 $x-y$ 的正交分量。投影不会放大距离。

取 $y=0$，得到 $\|P_M\|\le1$。若 $M\ne\{0\}$，任取其中一个单位向量 ，便有 ，所以 ；投影到零子空间时，算子范数才是 。

距离球的圆心是待逼近的点 $x$，不是原点，也不是投影点 $p$。在这张欧氏平面示意图中，球第一次碰到直线的位置是垂足；Hilbert 空间里的证明则由正交分解与勾股恒等式给出。

距离是零，却找不到最近点

在 $H=\ell^2$ 中取 $M=c_{00}$，并令 $x=(1,1/2,1/3,\ldots)$。因为 ，；它的有限截断属于 ，且

所以 $\operatorname{dist}(x,M)=0$。若某个 $m\in M$ 达到这个距离，就必须 $m=x$，可是 $x$ 不是有限支撑序列。候选解再好也没有最近点，缺的正是 $M$ 的闭性。

对任意子空间 $M$，正交补只看得到它的闭包：$M^\perp=(\overline M)^\perp$。在 Hilbert 空间里还有

一个方向来自内积连续性。反过来，把 $x\in(M^\perp)^\perp$ 分解为 $x=p+r$，其中 $p\in\overline M$、。于是 ，得到 。若 稠密，它的正交补只能是零子空间；这仍不能说明每个点已经属于 。

例题：由约束平面直接找投影

设 $M=\{(x_1,x_2,x_3)\in\mathbb R^3:x_1+x_2+x_3=0\}$，求 到 的最近点及距离。

这里没有先找平面的两个基向量，是因为题目直接给出了法向约束。若题目给的是 $M=\operatorname{span}\{w_1,w_2\}$，再用正交化得到正交基会更顺手。

在实验中先把目标直线设为横轴，输入向量设为 $(2,1)$。沿直线拖动候选点 $q$，预测误差在哪个位置最小。转动直线后，再检查最近点是否仍是“竖直向下”的落点。一般方向下，残差应该垂直于目标直线，未必平行于画面的纵轴。

实验用单位方向 $u=(\cos\theta,\sin\theta)$ 表示 $M$，投影是 $p=\langle v,u\rangle u$。若候选点为 $q=tu$，则

把候选点挪离 $p$，增加的误差平方恰好等于沿直线多走的距离平方。你可以用这条等式核对每一次拖动，而不用相信肉眼的远近判断。

正交系、Bessel 与 Parseval

本节讨论有限或可数的向量组；并非所有 Hilbert 空间都有可数正交基。一组向量 $(e_k)$ 若满足 $\langle e_j,e_k\rangle=0$（），称为正交系；若还满足 ，称为正交归一系。正交归一系的系数特别干净：若 ，则

因为与 $e_j$ 做内积时，其他项全部消失。

对任意有限正交归一组 $e_1,\ldots,e_N$，定义

逐项计算可得，对 $1\le j\le N$，

因此 $x-p_N$ 与 $\operatorname{span}\{e_1,\ldots,e_N\}$ 正交。用勾股定理：

于是得到 Bessel 不等式

令 $N\to\infty$，就有

这条不等式先告诉我们系数序列属于 $\ell^2$。更具体地，对 $m>n$，

所以部分和是 Cauchy 列。Hilbert 空间的完备性保证级数

在 $H$ 中收敛。

如果这组正交归一系的有限线性组合在 $H$ 中稠密，就称它是一个 Hilbert 正交归一基。设部分和的极限为 $p$，连续性给出 $\langle x-p,e_j\rangle=0$ 对每个 $j$ 成立。由于 又与其生成的稠密子空间正交，它必须与整个 正交，特别是与自己正交，于是 。因此

并且 Bessel 不等式中的剩余项消失，得到 Parseval 恒等式

如果这组向量只张成闭子空间 $W=\overline{\operatorname{span}\{e_k\}}$，同样的证明给出 $p=P_Wx$，并且

因此，对一个给定的 $x$，取等号只说明 $x\in W$；要让等式对所有 $x\in H$ 都成立，才需要 $W=H$。只检查一个向量不能证明正交系完备，但找到一个非零残差就足以否定完备性。

这里画的是二维模型：两个互相垂直的分量相加得到对角方向的向量。推广到 Hilbert 空间时，要区分有限正交和、它的极限，以及所选正交系统是否完备。

例题：在 L²[-1,1] 中投影一个二次函数

在 $L^2[-1,1]$ 中，用 $M=\operatorname{span}\{1,t\}$ 逼近 $f(t)=t^2$，求最佳逼近函数和最小平方误差。

这里直接使用正规方程也可以，但 $1,t$ 已经正交：

所以选择正交基公式比解一个 $2\times2$ 方程更短。

若把区间换成 $[0,1]$，$1$ 与 $t$ 不再正交；这时仍可投影，但应写正规方程，或先把 $t$ 改成 $t-\frac12$ 以获得正交方向。方法取舍取决于子空间的表示方式。

回到开头的区间 $[0,1]$，仍取 $f(t)=t^2$。残差与 $1,t$ 正交，给出

解得 $a=-1/6$、$b=1$，所以最佳直线是 $t-1/6$。它可以在某些点上高于 $t^2$，因为我们最小化的是整个区间上的平方积分。由投影的勾股分解，误差平方为

Gram–Schmidt：把任意独立组变成正交归一组

给定线性无关向量 $v_1,\ldots,v_n$，令

并递归定义

为什么 $w_k$ 与之前的每个 $u_i$ 正交？对 $i<k$，

若 $w_k=0$，则 $v_k$ 是前面向量的线性组合，和线性无关矛盾，所以可以归一化。算法每一步都减去当前向量在已知方向上的投影，留下的新方向再缩放为单位长度。

例题：完整执行一次 Gram–Schmidt

在 $\mathbb R^3$ 中，对

进行 Gram–Schmidt 正交化。

第二步中，$u_1$ 已经是单位向量。水平分量与竖直残差首尾相接，合成原来的 $v_2$；把非零残差归一化才得到 $u_2$。更多向量的情形，要减去所有已经得到的正交方向上的分量。

最小二乘是投影问题

设 $A:\mathbb F^n\to\mathbb F^m$ 是线性映射，$b\in\mathbb F^m$。最小二乘问题是

令 $M=\operatorname{Ran}A$。有限维子空间一定闭，所以先把 $b$ 投影到 $M$：

这说明最小二乘的真正对象是 $Ax$，不是某个坐标向量 $x$ 本身。若 $A$ 有非零核，多个 $x$ 可能给出同一个 $Ax$。

残差 $r=b-Ax_*$ 与 $M$ 正交，而 $A$ 的每一列都在 $M$ 中，所以

这里 $A^*$ 表示矩阵的共轭转置，实矩阵时就是转置；下一章会把这个构造推广到一般 Hilbert 空间。由坐标展开，把残差正交改写为：

这就是正规方程。它是残差正交的代数表达，不是凭微积分猜出来的另一条规则。

当 $A$ 满列秩时，$A^*A$ 正定：若 $x\ne0$，

所以正规方程有唯一解。若列向量线性相关，最小二乘解就不唯一，因为沿核中的非零方向移动不会改变拟合值。其中落在 $(\ker A)^\perp$ 中的解具有最小范数，因为任何其他解都可写成 $x_*+k$，其中 $k\in\ker A$，且

例题：三点数据的直线拟合

用直线 $a+bt$ 拟合数据

令

三行分别对应三个观测点，所以 $Ax$ 是拟合值列向量。

如果数据列很多，数值计算时常先对 $A$ 的列做正交化，写成 $A=QR$，再求 $Rx=Q^*b_0$。理论上两种方法等价；方法选择上，正交基更容易看清残差和误差，正规方程写起来更短，但直接形成 $A^{\ast }A$ 可能放大数值误差。

这里的点属于观测空间 $\mathbb R^3$。拟合向量 $p$ 在设计矩阵的列空间中，残差 $r=b-p$ 与两个列向量都正交。平面散点图里的纵向残差，不应画成到拟合直线的斜向最短距离。

留下哪些方向，就能捕获哪些函数

下面的实验使用 $L^2[-1,1]$ 中四个正交归一多项式：

把这些公式相乘并积分，可以检查不同项的内积为零、每项平方积分为 $1$。它们构成的是三次以下多项式空间 $V$ 的正交归一基，不是整个 $L^2[-1,1]$ 的基。

给定 $f=\sum_{j=0}^3c_je_j$，只保留下标集合 $$ 中的方向时，投影和误差平方分别是

先令四个系数全为 $1$，预测只保留偶数方向 $e_0,e_2$ 后能量还剩多少。再把奇数方向的系数调成零，观察同一个不完备方向组为什么又能完全恢复这个特定函数。曲线上交点再多，也不能代替平方积分；实验把函数图形和每个方向的能量同时画出，让你对照两种读法。

递进练习

概念判断

巩固：把几何条件写出来

题 4（巩固）。 设 $M=\operatorname{span}\{(1,1,0),(1,0,1)\}\subset\mathbb R^3$，求 $v=(2,1,3)$ 在 上的正交投影。请说明你选择“先正交化”或“解正规方程”的理由。

题 5（巩固）。 设 $(e_1,e_2,e_3)$ 是正交归一系，且 $x$ 满足 $\mathrm{\parallel }x\mathrm{\parallel }=5$、、、。求 到 的距离，并判断这组向量是否可能是 的 Hilbert 正交归一基。

应用：函数空间里的最小二乘

题 6（应用）。 在 $L^2[0,1]$ 中，用常数函数逼近 $f(t)=t^2$，求最佳常数 $c$ 和误差平方 $\|f-c\|^2$。再解释它为什么等于区间平均值。

题 7（应用变式）。 对同一数据 $(0,1),(1,2),(2,2)$，只用常数模型 $\hat y=a$ 拟合。求最小二乘解并与本章直线模型的误差平方比较，说明多加一个方向后误差为何不会变大。

迁移：分块常数逼近

题 8（迁移）。 在 $L^2[0,1]$ 中，令 $M$ 为所有在 $[0,1/2]$ 与 $(1/2,1]$ 上分别为常数的函数组成的子空间。求 $$ 在 上的投影，并计算误差平方。不要把两个区间的常数强行设成相同。

条件变化以后

题 9。 在 $\ell^2$ 中，$M=c_{00}$ 的正交补是什么？为什么 $M^\perp=\{0\}$ 不能推出 ？

题 10。 在复内积空间 $\mathbb C^2$ 中沿用第一个变量线性的约定。令 $u=(1,i)/\sqrt2$、，求 到 的投影，并检查残差正交。

题 11。 令 $A(s,t)=(s+t,2s+2t)$，目标 $b=(1,0)$。求所有最小二乘解及其中范数最小的一个。

题 12。 若闭子空间 $M\subset N\subset H$，证明 $\|x-P_Mx\|^2=\|x-P_Nx\|^2+\|P_Nx-P_Mx\|^2$。据此说明“增加方向”何时严格改进逼近。

题 13。 在实内积空间中，已知 $\|u\|=2$、$\|v\|=3$。求 $\langle u,v\rangle$ 的取值范围，并分别说明达到两个端点时 $u,v$ 的关系。再用 $$ 的 范数与标准基向量检验平行四边形恒等式。

题 14。 检查实验中的 $e_2=\sqrt{5/2}(3t^2-1)/2$ 与 正交，且 。令 ，求投影到 的结果与误差平方。