约束优化与拉格朗日乘子

上一章找无约束极值时，我们习惯先写

这条规则背后的理由是：如果一点真是定义域内部的极大点或极小点，那么你朝任意方向迈一小步，都不该还能让函数值继续上升或下降。既然所有方向都能走，所有方向的一阶变化率都得是零，于是梯度只能是零向量。

可一旦题目加上一条约束，这个理由就断了。

比如要在单位圆 $x^2+y^2=1$ 上让 $f(x,y)=x+y$ 最大。答案是圆上东北方向的点

但这里的梯度明明是

它为什么仍然能是最大点？因为你不能顺着 $\langle 1,1\rangle$ 往外走，那一步会离开圆。约束把“所有方向都能走”改成了“只能沿着圆周走”。最优点只需要保证：沿那些仍然允许的方向，函数的一阶变化全部为零。

拉格朗日乘子法做的事，就是把“哪些方向还允许走”翻译成梯度方程。

老办法卡在了哪里

设目标函数是 $f(x,y)$，约束写成

满足约束的点叫可行点，所有可行点合在一起叫可行集合。在二维问题里，一条光滑的等式约束通常把整个平面压成一条曲线。

站在约束曲线上的点 $P$，你不能随便选一个小位移 $\Delta\mathbf r$。如果位移把你带离 $g=k$，它就不属于这个问题。真正允许的瞬时方向，是曲线在 $P$ 点的切向量 $\mathbf v$。

沿可行曲线走时，$g$ 的值始终是 $k$，所以它的变化率为零：

这说明 $\nabla g(P)$ 垂直于可行方向。若 $P$ 是约束下的光滑极值点，目标函数沿同一个可行方向也不能有一阶变化：

注意这里没有要求 $\nabla f(P)$ 对所有方向都垂直，只要求它对约束留下来的切向方向垂直。因此 $\nabla f(P)$ 完全可以不是零向量。

用参数曲线把理由写严谨

假设约束附近可以参数化为

并且对附近所有 $t$ 都有 $g(\mathbf r(t))=k$。若 $t=t_0$ 对应约束极值点，那么单变量函数 $f(\mathbf r(t))$ 在 处有极值。链式法则给出

另一方面，约束值一路不变，因此

两个梯度都垂直于同一条切线。只要 $\nabla g(P)\ne\mathbf 0$，约束在这里有明确的切线，平面中的两个非零法向量就只能平行。

等值线相切，梯度才会平行

把目标函数的等值线 $f(x,y)=c$ 想成一组可以移动的轮廓线。我们逐渐改变 $c$，寻找约束曲线能够碰到的最高或最低一条等值线。

如果某条目标等值线在交点处横穿约束曲线，这个点通常不会是极值。沿约束向交点的一侧走，$f$ 会进入更高的等值区域；向另一侧走，$f$ 会进入更低的等值区域。还有上升或下降的余地，就不能在这里停下。

到了光滑极值点，两条曲线通常刚好相切。目标等值线的法向量是 $\nabla f$，约束曲线的法向量是 $\nabla g$。共同切线意味着法向量平行，所以存在某个实数 $\lambda$，使

这个辅助数 $\lambda$ 就是拉格朗日乘子。$\lambda>0$ 表示两个梯度同向，$\lambda<0$ 表示反向；两种情况都属于平行。只写“方向相同”会漏掉一半可能性。

下面这个交互固定约束圆 $x^2+y^2=1$，移动目标函数 $f=x^2+2y^2$ 的等值椭圆。先观察横穿时为什么不是极值，再看 与 时的相切和梯度。

从几何条件写成方程组

若约束是 $g(x,y)=k$，未知量有 $x,y,\lambda$。拉格朗日条件给出三条方程：

也可以先把约束移到一边，令 $G(x,y)=g(x,y)-k$，再写 $\nabla f=\lambda\nabla G$ 与 $G=0$。因为常数 的梯度为零，这两种写法完全一样。

三元函数配一条等式约束时，只是多一条分量方程：

拉格朗日函数只是把方程收在一起

定义

令它对三个未知量的偏导数都为零：

前两条正是梯度平行，最后一条把原约束带了回来。$\mathcal L$ 不是一个需要解释成面积、距离或利润的新目标；它只是把目标和约束装进同一个求方程工具。

一套不容易漏点的流程

完整例题：单位圆上的最大值与最小值

在约束

下，求

的最大值和最小值。

约束圆是闭且有界的，$f$ 又连续，所以最大值和最小值一定存在。这里

而 $\nabla g$ 在单位圆上从不为零，因此所有极值点都会被常规拉格朗日条件捕捉。

这里还能直接用约束把函数改写成 $f=1+y^2$。代换法更短，但拉格朗日方程展示了一个可以推广到难以消元、变量很多的模型上的结构。

把文字题翻译成目标和约束

真正费脑筋的地方，往往不是求偏导，而是分清“要优化什么”和“哪些量不能自由改变”。下面看三类常见模型。

固定周长的矩形

设矩形边长为 $x,y$，周长固定为 $P>0$。目标是最大化面积

约束和变量范围是

梯度方程为

因此

光滑候选点满足 $x=y$。代回周长约束得到

对应面积为

不过模型里还有 $x,y\ge0$。可行集合其实是直线 $2x+2y=P$ 在第一象限内的一条闭线段，端点为 $(0,P/2)$ 与 $(P/2,0)$，两处面积都是 。和内部候选点比较后，才能正式得出正方形面积最大。

拖动下面的周长和边长，可以同时看见当前矩形、同周长的正方形以及面积抛物线。这里也能看到“端点面积为零，内部顶点面积最大”的完整比较。

到一个平面最近的点

求平面

上离原点最近的点。距离有平方根，直接求导会带来不必要的分母。因为平方根严格递增，最小化距离等价于最小化距离平方：

梯度方程是

于是

代回平面方程：

得到 $\lambda=2$，最近点是 $(1,2,2)$，最近距离为 $3$。几何上，以原点为球心逐渐放大球面，第一次碰到平面时两者相切；最近点到原点的向量正好沿平面的法向量。

预算内怎样分配两种商品

设两种商品数量为 $x,y$，价格分别为 $2$ 和 $1$，预算为 $12$，效用模型为

约束是

在 $x,y>0$ 的光滑部分，拉格朗日条件为

其中

两式相除可得

左边等于 $y/x$，所以 $y=2x$。代回预算约束得到

两个端点 $(6,0)$ 与 $(0,12)$ 的效用都是 $0$，而内部候选点的效用是 $3\sqrt2$，所以它给出最大值。

这个模型还揭示了一个常见解释：最优点处，每一单位货币带来的边际效用相同。因为

若两边不相等，把一小笔预算从“单位货币收益低”的商品挪到另一种商品上，效用还会继续增加。

乘子到底表示什么

$\lambda$ 不只是为了把两个梯度写成平行。它还描述最优值对约束水平的局部敏感度。

设约束水平是 $k$，最优点会随 $k$ 改变，记作 $\mathbf r(k)$。对应的最优值记作

沿着这一族最优点求导：

在最优点上，$\nabla f=\lambda\nabla g$，所以

而约束恒有 $g(\mathbf r(k))=k$，两边对 $k$ 求导给出

因此

换句话说，把约束水平改动一个很小的量 $\Delta k$ 时，新的最优值近似为

固定周长矩形正好可以核对这件事。它的最大面积是

所以

前面的梯度方程给出 $x=y=2\lambda=P/4$，同样得到 $\lambda=P/8$。

如果最优点会突然从一段边界跳到另一段，最优值函数可能出现折点，这时单一的 $V'(k)$ 未必存在。敏感度公式描述的是光滑、稳定分支附近的小变化，不是任意大幅改动后的保证。

多个约束：梯度落在法向空间里

设 $f(x,y,z)$ 同时受到两条等式约束：

两个曲面通常交成一条空间曲线。可行方向必须同时沿着两个曲面，因此它既垂直于 $\nabla g$，也垂直于 $\nabla h$。

在约束极值点，$\nabla f$ 也必须垂直于这条可行曲线。若 $\nabla g$ 与 $\nabla h$ 线性独立，它们张成这条曲线的法平面，$\nabla f$ 就必须落在这个平面里：

完整方程组还要带上原来的两条约束。拉格朗日函数可以写成

令它对 $x,y,z,\lambda,\mu$ 的五个偏导数都为零，就得到五个未知量对应的五条方程。

例题：到两平面交线的最近点

在

和

的共同约束下，最小化

两个平面相交成一条直线，问题是在这条直线上找离原点最近的点。设两个乘子为 $\lambda,\mu$，梯度方程为

分量形式是

把 $x,y,z$ 代回两条约束，得到

解得

再回代可得

最小距离平方是 $29$。这里的几何画面是：以原点为球心的球面第一次碰到那条交线，球面的法向量 $\nabla f$ 落在两个平面法向量张成的平面中。

拉格朗日方程之外还要检查什么

把候选点找全，比把方程解出来更重要。下面四类位置要养成固定检查的习惯。

约束奇异点

考虑约束

和目标函数

约束可以参数化为

因此沿约束有

最小值显然在原点取得。但原点处

而

不存在 $\lambda$ 使 $\nabla f=\lambda\nabla g$。原因不是极值有问题，而是约束在原点形成尖点，$\nabla g$ 已经不能提供有效法向量。

端点、角点和分段连接处

固定周长矩形的可行集合因为 $x,y\ge0$ 变成一条线段。线段内部可以用拉格朗日条件，两个端点却必须直接代入比较。

如果可行区域是多边形，通常要分三层检查：区域内部的 $\nabla f=0$，每条边上的单约束极值，以及所有顶点。曲线由几段拼接时，连接处也应像端点一样单独处理。

不等式约束的内部与活动边界

对于

最优点若满足严格不等式 $g<k$，这条约束在局部没有挡路，问题退回无约束情形，通常检查 $\nabla f=0$。若最优点落在 $g=k$ 上，约束正在起作用，再把这段边界当作等式约束使用拉格朗日条件。

多条不等式相交时，最优点可能落在某条边上，也可能落在几条边同时起作用的角点。初学阶段最稳妥的做法，是按“内部、各段边界、交点”逐层检查，而不是一开始就猜哪条约束会卡住答案。

无穷远处和不存在的极值

在直线

上考察 $f(x,y)=2x+y$。代入 $y=1-x$ 后，

当 $x\to\infty$ 时 $f\to\infty$，当 $x\to-\infty$ 时 $f\to-\infty$，所以最大值和最小值都不存在。此时拉格朗日方程也没有解，因为 $⟨$ 不可能与 平行。

“方程无解”本身还不是不存在极值的证明；真正的证明来自沿可行集合考察函数怎样跑向无穷远。闭且有界的可行集合能替我们排除这类麻烦：连续函数在这种集合上一定能取得最大值和最小值。

怎样判断候选点的类型

若可行集合闭且有界，而且候选点只有有限个，最直接的方法就是把所有候选点、奇异点和边界点代回 $f$ 比较。这个方法判断的是全局最大值和最小值，也最不容易误判。

如果只想判断一个正则候选点附近的类型，可以看沿约束切向的二阶变化。设 $\mathbf v$ 是任意非零可行切向量，满足

在候选点取对应乘子 $\lambda$，考察

如果对每个非零可行切向量都有 $Q(\mathbf v)>0$，候选点是约束局部最小点；若始终小于零，则是约束局部最大点；若不同切向方向出现不同符号，它就不是约束极值。若某个非零切向量让 $Q(\mathbf v)=0$，二阶信息不够，必须继续看更高阶变化或直接沿约束参数化。

这里检查的是拉格朗日函数在可行方向上的二阶变化，而不是只看 $H_f$。约束本身会弯，$H_g$ 正是在修正这部分弯曲。若有多个约束，就把矩阵换成 $H_f-\lambda H_g-\mu H_h$，并只检查同时垂直于所有约束梯度的方向。

常见误区

练习

1. 在约束 $x^2+y^2=5$ 下，求 $f(x,y)=x+2y$ 的最大值、最小值以及相应乘子。

2. 周长为 $32$ 的矩形，面积最大时边长是多少？为什么还要检查退化端点？

3. 设 $(a,b,c)\ne(0,0,0)$。求平面 $ax+by+cz=d$ 上离原点最近的点和最近距离。

4. 在约束 $x^2-y^3=0$ 下最小化 $f=x^2+y$。说明为什么普通拉格朗日方程会漏掉答案。

5. 在约束 $x+y+z=6$ 与 $x-y=0$ 下，求 $x^2+y^2+z^2$ 的最小值。

6. 固定周长矩形在 $P=20$ 时面积最大。若周长增加到 $20.2$，用乘子估计最大面积增加多少，并与精确变化比较。

7. 在闭圆盘 $x^2+y^2\le1$ 上，求 $f(x,y)=(x-2)^2+y^2$ 的最大值和最小值。

从“找几个点”走向“累加整片区域”

到这里，我们已经能处理两类极值问题：变量可以自由移动时找 $\nabla f=\mathbf0$，变量被约束在曲线或曲面上时只消掉可行方向的一阶变化，再用拉格朗日乘子找候选点。

下一章会换一个完全不同的问题。优化关心的是“整片区域里哪几个点最高或最低”，二重积分则要把区域里的每一个小块都算进去。约束曲线不会消失：它会从“限制你能往哪里走”，变成“描述积分区域的边界”。先把可行集合看清楚的习惯，会直接帮助我们写出二重积分的区域和上下限。

所以

代入圆方程：

得到 $\lambda=\pm\frac12$。当 $\lambda=\frac12$ 时，点为 $(1,2)$，函数值为 $5$；当 $\lambda=-\frac12$ 时，点为 $(-1,-2)$，函数值为 $-5$。圆是闭且有界的，所以这两者分别是全局最大值和全局最小值。

最大候选面积为 $64$。可行线段的端点是 $(0,16)$ 与 $(16,0)$，它们代表退化矩形，面积都为 $0$。检查端点后，才能确认 $(8,8)$ 给出全局最大面积。

所以

代入平面方程得到

因此最近点是

最近距离为

最小值 $0$ 在 $t=0$，也就是原点取得。但

不存在 $\lambda$ 使 $\nabla f=\lambda\nabla g$。原点是约束尖点，必须作为奇异可行点单独检查。

结合两条约束解得

最小值为

可行集合是一条无界直线，但距离平方沿直线走向无穷远时会趋于无穷，因此这个唯一驻点确实是全局最小点。

在 $P=20$ 时，$\lambda=2.5$。当 $\Delta P=0.2$，线性估计为

精确变化是

两者相差 $0.0025$，这正是忽略二阶小量造成的误差。

第二个分量给出 $y(1-\lambda)=0$。若 $\lambda=1$，第一个分量会要求 $x-2=x$，不可能；所以 $y=0$。结合圆周约束得到 $(1,0)$ 与 $(-1,0)$。

因此最小值为 $1$，在 $(1,0)$ 取得；最大值为 $9$，在 $(-1,0)$ 取得。这个例子展示了不等式约束的标准检查顺序：先看内部，再看活动边界。