多变量极值与优化

一元函数里，站在点 $x=a$ 上，离开的路只有两条：向左，或者向右。要是两边都往高处走，这里就是谷底；两边都往低处走，这里就是山顶。我们甚至很容易相信，只要先找到 $f'(a)=0$，再看一眼 $f''(a)$，事情就差不多结束了。

到了平面上，这套直觉突然少了一块。站在 $(a,b)$ 上，你不再只有“左、右”两个离开方向，而是可以朝任意角度走。沿 $x$ 轴看像谷底，沿 $y$ 轴看也像谷底，斜着走却可能一路下降。多变量优化真正新增的困难，就是要同时管住这无穷多个方向。

上一章学过，梯度把所有方向的一阶变化都收进了一个向量：

这一章就从这里接着往前走。我们先用梯度找出“第一步暂时走不动”的点，再用 Hessian 判断附近往各个方向怎样弯；若题目还圈出一块可行区域，就把边界也当成正式候选来检查。最后你会看到，优化不是“令偏导数等于零”这一行计算，而是一套不会漏掉候选点的搜索与比较方法。

三个中心点的一阶斜率都可能为零。真正区分它们的，是离开中心以后曲面向各个方向怎样弯。

梯度归零，只是把候选点圈出来

先把“最大”和“最小”说准确。若在 $(a,b)$ 附近的所有点都满足

那么 $(a,b)$ 是一个局部极小点；若附近都满足 $f(x,y)\le f(a,b)$，它就是局部极大点。这里的“局部”很要紧：山腰上的一个小凹坑可以是局部谷底，却未必是整座山最低的地方。

如果不只附近，而是定义域内每个点都满足相应的不等式，我们才称它为绝对极小点或绝对极大点。点 $(a,b)$ 是极值出现的位置，$f(a,b)$ 才是极值；写答案时不要把这两件事混在一起。

为什么内部极值点必须让梯度归零

假设 $f$ 在定义域内部的 $(a,b)$ 可微，而且这里是局部极小点。若 $\nabla f(a,b)\ne \mathbf 0$，上一章告诉我们，沿负梯度方向的方向导数是

也就是说，只要朝负梯度方向迈出足够小的一步，函数值就会下降。这和“这里已经是附近最低点”矛盾。因此，可微的内部极值点一定满足

写成分量就是

局部极大点的理由完全相同：如果梯度不为零，沿梯度方向还能继续升高。

这个结论也可以用一元微积分来理解。把 $y=b$ 钉住，函数变成 $g(x)=f(x,b)$；把 $x=a$ 钉住，又得到 $h(y)=f(a,y)$。若 是内部极值点，那么 和 分别是这两个截面函数的极值点，所以两个偏导数都必须为零。

梯度归零表示切平面水平，也表示所有方向的一阶变化暂时消失。它还没有告诉我们，这里究竟是山顶、谷底还是鞍点。

临界点和驻点

求极值时，需要检查两类内部点：

• 若 $f_x=f_y=0$，这个点通常叫驻点。
• 若一个或两个一阶偏导数不存在，但点仍在定义域内，它也是临界点。

例如

的图像是一个圆锥。原点是整个平面上的绝对极小点，但尖端没有梯度，因此方程 $\nabla f=\mathbf 0$ 根本抓不到它。完整的候选清单不能只写“解两个偏导方程”，还要检查不可微点。

边界点又是另一回事。若可行区域只允许 $x\ge 0$，站在边界 $x=0$ 时，你不能朝 $x<0$ 的方向走，所以边界极值不必满足完整的梯度归零条件。后面处理绝对极值时，我们会把边界单独拿出来。

例题：先找候选点，再用原式认出它

求函数

的临界点，并判断其类型。

配方在这里给出了比二阶判别更强的结论，因为它直接控制了整个平面。可是一般函数未必能漂亮地配方，我们需要一种只看临界点附近就能分类的办法。

一阶项消失以后，Hessian 接管局部形状

在普通点附近，函数最显眼的变化来自线性部分：

这就是切平面近似。到了驻点，$f_x=f_y=0$，线性部分整块消失。此时函数离开 $f(a,b)$ 以后是升是降，要看下一层的二次项：

这里所有二阶偏导数都在 $(a,b)$ 处取值。把它们排成矩阵，就得到 Hessian：

当混合偏导在附近连续时，$f_{xy}=f_{yx}$，Hessian 是对称矩阵。若用向量 $\mathbf v=(h,k)^{\mathsf T}$ 表示一次很小的位移，二次变化可以压缩成

这行式子真正要问的是：对每一个非零方向 $\mathbf v$，这个二次型是正、负，还是有时正有时负？

• 每个非零方向都为正：离开中心就上升，是局部极小。
• 每个非零方向都为负：离开中心就下降，是局部极大。
• 有些方向为正、有些方向为负：一边上升一边下降，是鞍点。

为什么只看 $x$、$y$ 两个截面不够

考虑

沿 $x$ 轴，$f(x,0)=x^2$，原点像谷底；沿 $y$ 轴，$f(0,y)=y^2$，原点仍像谷底。如果只检查这两个方向，我们会得到一个错误结论。

现在沿斜线 $y=-x$ 走：

而沿 $y=x$ 走：

原点附近既有高于 $f(0,0)$ 的点，也有低于它的点，所以原点是鞍点。罪魁祸首是混合项 $10xy$：它在坐标轴上恰好消失，却在斜方向上主导了曲面的弯曲。这正是 Hessian 必须把 $f_{xy}$ 算进去的原因。

二元函数的二阶判别法

为了不用逐一检查无穷多个方向，定义 Hessian 的判别式

在驻点 $(a,b)$ 处，分类规则是：

$D>0$ 表示两个主要弯曲方向同号，再由 $f_{xx}$ 判断它们一起向上还是一起向下。$D<0$ 表示两个主要方向异号，所以必有上升方向和下降方向。混合偏导在判别式里被平方，因此决定分类的是它的大小，不是它的正负。

若二次型写成 $f(x,y)=ax^2+2bxy+cy^2$，它的 Hessian 行列式是 $4(ac-b^2)$。因此有些题目会把判别式简写成 ；它和 Hessian 行列式只差一个正常数，符号与分类完全相同。

例题：两个驻点，两种完全不同的命运

求

的驻点，并分类。

这道题提醒我们：比较两个驻点的高低，不能代替局部分类。局部类型说的是每个点自己附近的形状，不是它在候选点排行榜上的名次。

鞍点与判别失效

“鞍点”这个词很形象：沿马背前后方向看，中心像最低点；沿左右方向看，中心又像最高点。用定义说，就是任意小的邻域里，都能找到函数值比中心大的点，也能找到比中心小的点。

最标准的例子是

沿 $x$ 轴有 $f(x,0)=x^2\ge0$，沿 $y$ 轴有 $f(0,y)=-y^2\le0$。因此原点是鞍点。它的 Hessian 判别式为 ，二阶判别法很快就能认出来。

真正麻烦的是 $D=0$。这不代表“没有极值”，也不代表“必是鞍点”；它只表示二次项里至少有一个方向太平，现有信息不够。

看三个函数：

它们在原点的一阶偏导和二阶偏导全都为零，所以二阶判别法给出的都是 $D=0$。可原点分别是局部极小点、局部极大点和鞍点。决定答案的是四次项，Hessian 根本还没有看到它。

判别失效以后怎么做

遇到 $D=0$，可以依次尝试：

1. 配方或因式分解。 如果能把 $f(x,y)-f(a,b)$ 写成平方和或明显同号的式子，结论往往直接出现。
2. 找两条相反符号的路径。 若一条路径上函数值高于中心，另一条低于中心，就足以证明是鞍点。
3. 查看最低阶非零项。 二次项退化时，三次、四次或更高阶项可能接管局部形状。
4. 回到定义估计。 要证明局部极小，需要控制附近所有点，而不是只抽查几条直线。

最后一条很容易被忽略。找出两条异号路径可以迅速证明“不是极值”；但检查十条、二十条路径都没有发现负值，仍然不能证明局部极小，因为平面上还有无穷多条路径。

例题：二阶判别沉默，路径给出答案

判断

在原点附近的行为。

从局部候选走到闭区域的绝对极值

Hessian 回答的是“这个点附近像什么”。绝对极值问的却是“整个可行区域里谁最高、谁最低”。这两个问题不能混用。

若函数 $f$ 在闭有界区域 $R$ 上连续，那么它一定能在 $R$ 上取得绝对最大值和绝对最小值。你可以把“闭”理解成边界也包含在内，把“有界”理解成区域不会无限延伸。这个结论保证最优点存在，却没有保证它在内部。

在闭区域上找绝对极值，需要检查三类候选：

1. 区域内部的驻点和不可微点。
2. 每一段边界上的单变量临界点。
3. 边界的端点、角点和分段连接点。

最后把所有候选点代回原函数，直接比较函数值。只有这一步才能确定“绝对”最大和最小。

为什么边界必须降成单变量问题

以矩形

为例，边界由四条线段组成。在线段 $y=c$ 上，$y$ 已经不能自由变化，原函数变成单变量函数

于是只需检查 $F'(x)=0$ 的点和区间端点。其余三条边同理。角点经常会被相邻两条边重复算到，这没有关系；漏掉它们才是问题。

若边界是一条曲线，可以参数化为

然后研究

这仍然是熟悉的一元极值问题。只不过边界一复杂，参数化和求导很快会变得笨重，这正是下一章要引入约束优化方法的原因。

下面的交互会在矩形与三角形上，分别列出内部驻点、边界驻点和端点。切换函数以后，观察“内部局部形状”和“绝对极值位置”为什么不是同一件事。

例题：矩形上的绝对最大值和最小值

求

在矩形

上的绝对极值。

这个例子恰好把最小值留在内部，把最大值推到角点。若只解 $\nabla f=0$，最大值会整块漏掉。

曲线边界：先露出下一章的问题

求线性函数

在单位圆盘 $x^2+y^2\le1$ 上的绝对极值。因为 $\nabla f=(1,2)$ 永远不为零，内部没有驻点，极值只能到边界 $x^2+y^2=$ 上找。

令

边界上的目标函数变成

它的振幅为 $\sqrt5$，因此绝对最大值和最小值分别是 $\sqrt5$ 与 ，对应点为

这里已经出现了一个很有用的几何现象：在最优点，圆的切线方向上不能再让 $f$ 增加或减少，所以目标函数的等值线恰好与圆相切。下一章会把这种“相切”翻译成梯度平行的方程，从而不必每次都先猜一套参数化。

实际优化建模：先把“最好”翻译成函数

真正的应用题往往不难求导，难的是在求导以前。题目说“成本最低”“距离最短”或“产量最高”，你要先决定变量是什么、目标是什么、哪些方案真的允许。

一套可复用的建模顺序

例题：两种投入的成本最低点

某项生产流程的近似成本为

其中 $x$、$y$ 是两种可连续调节的投入批量。先不加上限，只要求 $x\ge0$、$y\ge0$，求成本最低的投入组合。

如果现实条件再加一条 $x\le4$，原来的最优点就不再可行，答案会移动到边界 $x=4$ 上。此时你应把 $C(4,y)$ 当成单变量函数继续优化。这个小变化说明：约束不是题目末尾的附注，它会直接改变最优解。

常见误区

把驻点直接写成极值点

$\nabla f=0$ 只说明一阶变化消失。后面还要用 Hessian、原式符号、配方或路径判断类型。

只检查 $x$ 方向和 $y$ 方向

多元函数有无穷多个离开方向。混合项可能在坐标轴上消失，却在斜方向上制造下降。二阶判别式正是用来同时管住这些方向的。

把 $D=0$ 当成分类结果

$D=0$ 的正确结论只有“二阶判别法无法决定”。它后面可能是极大、极小或鞍点。

用 Hessian 判断绝对极值

Hessian 给出局部形状。绝对极值必须汇总内部、边界、角点等全部候选，再比较原函数值。

忘记不可微点和边界

圆锥尖端可以是最小点，边界角点可以是最大点，它们都可能不满足 $\nabla f=0$。候选清单不完整，后面的计算再准确也没有用。

没确认存在性条件

连续函数在闭有界区域上一定取得绝对极值；少掉这些条件，结论就不再自动成立。例如 $f(x,y)=x^2+y^2$ 在整个平面上有绝对最小值，却没有绝对最大值。

练习

练习：分类一个二次函数的驻点

求

的驻点，并判断其类型。

练习：判别式失效以后继续判断

判断函数

在原点的局部类型。

练习：闭区域上的绝对极值

求

在正方形 $0\le x\le2$、$0\le y\le2$ 上的绝对最大值和绝对最小值。

练习：从距离问题建立目标函数

在平面

上找一点，使它到 $P=(1,2,3)$ 的距离最短。

练习：为什么不存在绝对最大值

判断

在区域 $x^2+y^2<1$ 上是否有绝对最大值。

走到这里，我们已经能处理无约束的内部驻点，也能把简单边界参数化后逐段搜索。下一章面对的是更一般的限制：可行点被锁在 $g(x,y)=c$ 上时，怎样不先解出 $y=\phi(x)$，就直接写出最优条件。答案会再次用到梯度，不过这一次，是两个梯度之间的关系。

因此 $x=\pm1$、$y=0$，驻点是 $(1,0)$ 和 $(-1,0)$。

所以原点是驻点。

所以唯一驻点是 $(1,2)$，它确实在矩形内部，函数值为

解方程组

得到

二阶偏导数为

因此

并且 $f_{xx}>0$，所以 $\left(\frac83,-\frac73\right)$ 是局部极小点。由于原函数是正定二次函数，它也是整个平面上的绝对极小点。

所以原点是局部极小点，也是绝对极小点。它不是严格极小点，因为在两条直线 $y=x$ 和 $y=-x$ 上，原点附近还有无穷多个点也使 $f=0$。

所以内部候选点是 $(1,1)$，函数值为 $1$。它的二阶判别式是

因此它是鞍点，不过仍应保留在绝对极值的候选表中。

检查四条边：

这些都是区间 $[0,2]$ 上的线性函数，极值出现在端点。四个角点的函数值分别是

与内部候选值 $1$ 比较后，绝对最小值为 $0$，在 $(0,0)$ 和 $(2,2)$ 处取得；绝对最大值为 $2$，在 $(2,0)$ 和 $(0,2)$ 处取得。

求偏导数：

解方程组

得到 $x=y=\frac53$。对应的 $z$ 坐标是

因此最近点是

Hessian 为

其判别式为 $40-16=24>0$，且 $F_{xx}=10>0$。所以这个驻点是极小点；又因为 $F$ 是正定二次函数，它也是绝对极小点。