漫步数学分析番外六(下)

$\textbf{定理9}$ 令$f:A\to R$在开集$A$上二阶可导且$D^2f$连续(即函数$\partial^2f/(\partial x_i\partial_j)$是连续的)，那么$D^2f$是对称的；即

$$D^2f(x)(x_1,x_2)=D^2f(x)(x_2,x_1)$$

或者用元素的方式表示就是

$$\frac{\partial^2f}{\partial x_i\partial x_j}=\frac{\partial^2f}{\partial x_j\partial x_i}$$

$\textbf{证明：}$我们想说明$D^2f(x)\cdot(y,z)=D^2f(x)\cdot(z,y)$；即

$$\frac{\delta^2f}{\delta x_i\delta x_j}=\frac{\delta^2f}{\delta x_j\delta x_i}$$

对所有标量都成立，我们化简到二维情况，从而可以假设$f$ 在$A\subset R^2$ 上是$C^2$类并且是实值函数。

对于固定的$(x,y)\in A$与很小的$h,k$，

$$S_{h,k}=[f(x+h,y+k)-f(x,y+k)]-[f(x+h,y)-f(x,y)]$$ (如图1)


图1

将函数$g_k$定义为$g_k(u)=f(u,y+k)-f(u,y)$，那么$S_{h,k}$可以写成

$$S_{h,k}=g_k(x+h)-g_{k}(x)$$

那么根据均值定理，在$x,x+h$之间存在某个$c_{k,h}$使得$S_{h,k}=g_k^\prime(c_{k,h})\cdot h$，故$y,y+h$之间存在某个$d_{h,k}$使得

$$\begin{align*} S_{h,k} &=\left\{\frac{\partial f}{\partial x}(c_{k,h},y+k)-\frac{\partial f}{\partial x}(c_{k,h},y)\right\}\cdot h\\ &=\frac{\partial^2f}{\partial y\partial x}(c_{k,h},d_{k,h})\cdot hk \end{align*}$$

接下来，$S_{h,k}$关于$h,k$与$x,y$是对称的，交换$S_{h,k}$中间的两项，我们可以导出

$$S_{h,k}=\frac{\partial^2f}{\tilde{c_{h,k}},\tilde{d_{h,k}}}\cdot hk$$

联立$S_{h,k}$的两个等式，消去$h,k$并令$h\to0,k\to 0$ 即可得出结论。$||$

注意：更精细的结论是：如果$f$是$C^1$且$\partial^f/\partial x\partial y$存在并连续，那么$\partial^2f\partial y\partial x$存在且相等，证明的话比上面的复杂，这里从略，但是思想都是一样的。

$\textbf{定理10}$ 对开集$A\subset R^n$，令$f:A\to R$ 是$C^r$类，令$x,y\in A$并且假设连接$x,y$的线段位于$A$ 中，那么在这条线段上存在点$c$ 使得

$$\begin{align*} f(y)-f(x) &=\sum_{k=1}^{r-1}\frac{1}{k!}D^kf(x)(y-x,\ldots,y-x)\\ &+\frac{1}{r!}D^r(c)(y-x,\ldots,y-x) \end{align*}$$

$\textbf{证明：}$根据链式法则

$$\begin{align*} \frac{d}{dt}f(t+th) &=Df(x+th)\cdot h\\ &=\sum_{i=1}^n\frac{\partial f}{\partial x_i}(x+th)h_i \end{align*}$$

那么我们从$t=0$到$t=1$进行积分可得

$$f(x+h)-f(x)=\int_0^1\sum_{i=1}^n\frac{\partial f}{\partial x_i}(x+th)h_idt$$

接下来是求右边的积分表达式，回忆一下公式

$$\int_0^1u\frac{dv}{dt}dt=-\int_0^1v\frac{du}{dt}dt+uv|_0^1$$

我们令$u=(\partial f/\partial x_i)(x+th)h_i,v=t-1$，那么

$$\sum_{i=1}^n\int_0^1\frac{\partial f}{\partial x_i}(x+th)h_idt-\sum_{i,k=1}^n\int_0^1(1-t)\frac{\partial^2f}{\partial x_i\partial x_k}(x+th)h_ih_kdt+h_i\frac{\partial f}{\partial x_i}(x)$$

这是因为根据链式法则

$$\frac{du}{dt}=\frac{\partial^2f}{\partial x_i\partial x_k}(x+th)h_ih_k$$

以及

$$uv|_0^1=(t-1)\frac{\partial f}{\partial x_i}(x+th)h_i|_{t=0}^1=\frac{\partial f}{\partial x_i}(x)h_i$$

，从而我们证明了

$$f(x+h)-f(x)=\sum_{i=1}^n\frac{\partial f}{\partial x_i}(x)\cdot h_i+R_1(h,x)$$

其中

$$R_1(h,x)=\sum_{i,k=1}^n\int_0^1(1-t)\frac{\partial^2f}{\partial x_i\partial x_k}(x+th)h_ih_kdt.$$

因为$|h_i|\leq\Vert h\Vert$，所以我们有

$$|R_1(h,x_0)|\leq\Vert h\Vert^2\left\{\sum_{i,k=1}^n\int_0^1(1-t)\left|\frac{\partial^2f}{\partial x_i\partial x_k}(x_0+th)\right|dt\right\}$$

如果我们用

$$u=\frac{\partial^2f}{\partial x_i\partial x_k}(x+th)h_ih_k$$

以及

$$v=-(t-1)^2/2$$

积分$R_1(h,x_0)$可得

$$R_1(h,x)=\sum_{i,j,k}\int_0^1\frac{(t-1)^2}{2}\frac{\partial^3f}{\partial x_i\partial x_j\partial x_k}(x+th)h_ih_jh_kdt+\sum_{i,j}\frac{1}{2}\frac{\partial^2f}{\partial x_i\partial x_j}(x)h_ih_j$$

所以我们证明了

$$f(x+h)=f(x)+\sum_{i=1}^nh_i\frac{\partial f}{\partial x_i}(x)+\sum_{i,j=1}^n\frac{h_ih_j}{2}\frac{\partial^2f}{\partial x_i\partial x_j}(x)+R_2(h,x)$$

其中

$$R_2(h,x)=\sum_{i,j,k}^n\int_0^1\frac{(t-1)^2}{2}\frac{\partial^3f}{\partial x_i\partial x_j\partial x_k}(x+th)h_ih_jh_kdt$$

现在最后公式中的积分项是连续函数，所以在$x$的小邻域内是有界的(记住它非常接近$x$处的函数值)，那么对常数$M\geq0$，存在很小的$\Vert h\Vert$使得

$$|R_2(h,x)|\leq\Vert h\Vert^3M$$

尤其注意到当$h\to 0$时$R_2(h,x_0)/\Vert h\Vert^2\leq\Vert h\Vert M\to 0$，回忆一下

$$\int_a^bf(x)g(x)dx=f(c)\int_a^bg(x)dx$$

其中$f,g$是连续的且在$[a,b]$上$g\geq0$；$c$是$a,b$中的某个值。从而我们得出

$$\begin{align*} R_1(h,x_0) &=\sum_{i,k=1}^n\int_0^1(1-t)\frac{\partial^2f}{\partial x_i\partial x_k}(x+th)h_ih_kdt\\ &=\int_0^1(1-t)D^2f(x+th)(h,h)dt\\ &=\frac{1}{2}D^2f(c)(h,h) \end{align*}$$

其中$c$在连接$x,y=x+h$的线上。

同样的，

$$\begin{align*} R_2(h,x_0) &=\sum_{i,j,k=1}^n\int_0^1\frac{(t-1)^2}{2}\frac{\partial^3f}{\partial x_i\partial x_j\partial x_k}(x+th)h_ih_jh_kdt\\ &=\int_0^1\frac{(t-1)^2}{2}D^3f(x+th)\cdot(h,h,h)dt\\ &=\frac{1}{3!}D^3f(c)\cdot(h,h,h) \end{align*}$$

其中$c$在连接$x,y=x+h$的线上，利用归纳法我们可以用同样的方法处理从而得出一般的结论。$||$

注：1，实际上我们可以证明更强的定理，即如果$f$是$C^r$，那么

$$f(x+h)=f(x)+\sum_{k=1}^r\frac{1}{k!}D^kf(x)\cdot(h,\ldots,h)+R_r(x,h)$$

其中$h\in R^n$，当$h\to0$时$R_r(x,h)/\Vert h\Vert^r\to0$。

2，定理10的另一种证明是利用泰勒公式，令$g(t)=f(x+t(y-x)),x\in[0,1]$，在$R$上应用泰勒公式后那么存在$\tilde{t}\in[0,1]$使得

$$g(1)-g(0)=\sum_{k=1}^{r-1}\frac{1}{k!}g^{(k)}(0)+\frac{1}{r!}g^{(r)}(\tilde{t})$$

注意$g(1)=f(y),g(0)=f(x)$，令$p(t)=x+t(y-x)$，那么$g=f\circ p$并对所有的$x,Dp(t)(1)=y-x$，所以

$$\begin{align*} g^{(k)}(t)=D^kg(t)(1,\ldots,1) &=D^kf(p(t))(Dp(t)(1),\ldots,Dp(t)(1))\\ &=D^kf(x+t(y-x))(y-x,\ldots,y-x) \end{align*}$$

将上式代入前面的公式的

$$\begin{align*} f(y)-f(x) &=\sum_{k=1}^{r-1}\frac{1}{k!}D^kf(x)(y-x,\ldots,y-x)\\ &+\frac{1}{r!}D^rf(x+\tilde{t}(y-x))(y-x,\ldots,y-x) \end{align*}$$

令$c=x+\tilde{t}(y-x)$，证毕。

$\textbf{定理11}$如果$f:A\subset R^n\to R$是可微的，$A$是开集，如果$x_0\in A$是$f$的一个极值点，那么$Df(x_0)=0$；即$x_0$是一个驻点。

$\textbf{证明：}$如果$Df(x_0)\neq 0$，我们可以找出$x\in R^n$ 使得$Df(x_0)x=c\neq0$，假设$c>0$，那么我们可以找到$\delta>0$使得

$$\Vert h\Vert<\delta\Rightarrow\Vert f(x_0+h)-f(x_0)-Df(x_0)h\Vert\leq\frac{c}{2\Vert x\Vert}\Vert h\Vert$$

取$\lambda>0$使得$\lambda\Vert x\Vert<\delta$，那么$\Vert f(x_0+\lambda x)-f(x_0)-Df(x_0)\lambda x\Vert\leq c\lambda\Vert x\Vert=c\lambda/2$，接下来$Df(x_0)\lambda x=\lambda c$，因此我们得出$f(x_0+\lambda x)-f(x_0)>0$，同样的$\Vert f(x_0-\lambda x)-f(x_0)+Df(x_0)\lambda x\leq c\lambda/2$意味着$f(x_0-\lambda x)-f(x_0)<0$。因为$f(x_0+\lambda x)>f(x_0),f(x_0-\lambda x)<f(x_0)$，所以$f(x_0)$不是局部极值点，即我们可以找出任意靠近$x_0$ 的点$y$使得$f(y)>f(x_0)$，同样的存在任意靠近$x_0$的点$y$使得$f(y)<f(x_0)$。$||$

$\textbf{定理12}$

1. 如果$f:A\subset R^n\to R$是定义在开集$A$上的$C^2$函数，并且$x_0$是$f$的驻点使得$H_{x_0}(f)$是正定的，那么$f$在$x_0$处有一个局部最大值。
2. 如果$f$在$x_0$处有一个局部最大值，那么$H_{x_0}(f)$是半正定的。

$\textbf{证明：}$$\textrm{(i)}$对$R^n$中所有的$x\neq 0,H_{x_0}(f)(x,x)>0$意味着对$R^n$中所有的$x\neq 0,D^2f(x_0)(x,x)<0$。 根据前面的内容可知双线性函数是连续的，因此$D^2f(x,x)$是$x$的连续函数，此外$S=\{x\in R^n|\Vert x\Vert=1\}$是紧集，所以存在点$\bar{x}\in S$ 使得对所有的$x\in S,0>D^2f(x_0)(\bar{x},\bar{x})\geq D^2f(x_0)(x,x)$。接下来令$\varepsilon=-D^2f(x_0)(\bar{x},\bar{x})$，那么对$R^n$ 中的任意$x\neq 0,D^2f(x_0)(x,x)=\Vert x\Vert^2D^2f(x_0)(x/\Vert x\Vert,x/\Vert x\Vert)\leq-\varepsilon\Vert x\Vert^2$。因为$D^2f$是连续的，所以存在$\delta>0$使得$\Vert y-x_0\Vert<\delta$ 意味着$\Vert D^2f(y)-D^2f(x_0)\Vert<\varepsilon/2$并且我们也可以取$\delta$使得$D(x_0,\delta)\subset A$。如果$y\in D(x_0,\delta)$，可以用泰勒定理得到$f(y)-f(x_0)=Df(x_0)(y-x_0)+(1/2)D^2f(c)(y-x_0,y-x_0)$，其中$c\in D(x_0,\delta)$，从而

$$\Vert D^2f(c)-D^2f(x_0)\Vert<\varepsilon/2$$
意味着
$$\begin{align*} D^2f(c)(y-x_0,y-x_0) &\leq D^2f(x_0)(y-x_0,y-x_0)\\ &+\Vert D^2f(c)(y-x_0,y-x_0)-D^2f(x_0)(y-x_0,y-x_0)\Vert\\ &\leq-\varepsilon\Vert y-x_0\Vert^2+(\varepsilon/2)\Vert y-x_0\Vert^2\\ &=-(\varepsilon/2)\Vert y-x_0\Vert^2 \end{align*}$$

因为$x_0$是驻点，故$Df(x_0)=0$，从而泰勒公式给出

$$f(y)-f(x_0)=(1/2)D^2f(c)(y-x_0,y-x_0)\leq(1/2)(-\varepsilon/2\Vert y-x_0\Vert^2)<0$$

因此对所有的$y\in D(x_0,\delta),y\neq x_0,f(y)<f(x_0)$，所以$f$在$x_0$ 处有局部最大值。

$\textrm{(ii)}$令$f$在$x_0$处有局部最大值并且假设存在$x\in R^n$使得$D^2f(x_0)(x,x)>0$，接下里考虑$g(t)=-f(x_0+tx)$，因为$f$定义在$x_0$的邻域内，$g$定义在0的邻域内，从而有$D^2g(0)(1,1)=-D^2f(x_0)(x,x)<0$。 利用$\textrm{(i)}$的证明，存在$\delta$使得$|t|<\delta,t\neq0$意味着$g(t)<g(0)$，从而$|t|<\delta$ 意味着$f(x_0+tx)>f(x_0)$，所以$f$在$x_0$ 处没有局部最大值。这个矛盾意味着对所有的$x\in R^n,D^2f(x_0)(x,x)\leq 0$，因此对所有的$x\in R^n,H_{x_0}(f)(x,x)\geq 0$。$||$

$\textbf{例1：}$令$f:B\subset R^n\to R$，其中$B=\{x\in R^n|\Vert x\Vert\leq 1\}$是连续的且令$f$在$\text{int}(B)$中可微，假设在$\text{bd}(B)\text{上},f(x)=0$，说明存在点$x_0\in\text{int}(B)$使得$Df(x_0)=0$。

$\textbf{解：}$这是罗尔定理的多维版本。如果$f$恒等于零，那么该定理显然成立，因此假设存在$x\in\text{int}(B)$使得$f(x)\neq 0$，那么$f$在某个内点上得到最大值或最小值。因为$B$是紧集，所以存在一个极值点$x_0\in\text{int}(B)$并且根据定理11可知$Df(x_0)=0$。

$\textbf{例2：}$说明对双线性映射$f:R^n\times R^m\to R^p$，我们有$Df(x_0,y_0)(x,y)=f(x_0,y)+f(x,y_0)$(映射$f(x,y)$称为双线性，当它对$x,y$分别都是线性映射)

$\textbf{解：}$从矩阵表示中我们可以看出偏导数是存在的且连续，所以$f$是可微的。因为$f(x,y_0)$是$x$的线性函数，在$(x,0)$方向的导数是$Df(x_0,y_0)(x,0)=f(x,y_0)$，同样的$Df(x_0,y_0)(0,y)=f(x_0,y)$，那么因为$Df(x_0,y_0)$是线性的且$(x,y)=(x,0)+(0,y)$，我们有$Df(x_0,y_0)(x,y)=f(x_0,y)+f(x,y_0)$。

$\textbf{例3：}$求$f(x,y)=(\sin(x\sin y),(x+y^2));f:R^2\to R^2$。

$\textbf{解：}$我们有

$$\begin{align*} &\frac{\partial f_1}{\partial x}=\frac{\partial}{\partial x}(\sin(x\sin y))=\cos(x\sin y)\frac{\partial}{\partial x}(x\sin y)=\sin y\cos(x\sin y);\\ &\frac{\partial f_2}{\partial x}=2(x+y)\frac{\partial}{\partial}(x+y)=2(x+y);\\ &\frac{\partial f_1}{\partial y}=\cos(x\sin y)\frac{\partial}{\partial y}(x\sin y)=\cos(x\sin y)x\cos y;\\ &\frac{\partial f_2}{\partial y}=2(x+y). \end{align*}$$

那么根据定理2，雅克比矩阵(其中$x=x_1,y=x_2$)是

$$\begin{pmatrix} \sin y\cos(x\sin y)&x\cos y\cos(x\sin y)\\ 2(x+y)&2(x+y) \end{pmatrix}$$

雅克比矩阵通常不是对称的也不一定是方阵，对称性是函数$f:R^n\to R$二阶导数的性质。

$\textbf{例4：}$求$f(x,y)=x63-3x^2+y^2$的驻点并判断$f$在驻点处是否有(局部)最大值，(局部)最小值或鞍点。

$\textbf{解：}$驻点就是满足下面条件的点

$$\frac{\partial f}{\partial x}=3x^2-6x=0$$

与

$$\frac{\partial f}{\partial y}=2y=0$$
求解$x$得到$x=0,x=2$，因此$f$的驻点是$(0,0),(2,0)$。$(x,y)$处的海森矩阵是
$$\begin{pmatrix} -\frac{\partial^2f}{\partial x\partial x}&-\frac{\partial^2f}{\partial x\partial y}\\ -\frac{\partial^2f}{\partial y\partial x}&-\frac{\partial^2f}{\partial y\partial y} \end{pmatrix}= \begin{pmatrix} -6x+6&0\\ 0&-2 \end{pmatrix}$$

$(0,0)$点处的海森矩阵是

$$\begin{pmatrix} 6&0\\ 0&-2 \end{pmatrix}$$

$\Delta_1=+6,\Delta_2=-12$，从而$f$在$(0,0)$处有一个鞍点，在$(2,0)$处海森矩阵是

$$\begin{pmatrix} -6&0\\ 0&-2 \end{pmatrix}$$

$\Delta_1=-6,\Delta_2=12$，所以$f$有局部最小值。

$\textbf{例5：}$令$A$是$R^n$中的开凸集，$f:R^n\to R^m$ 可微且有连续导数，假设对所有的$x\in A,y\in R^n,\Vert Df(x)y\Vert\leq M\Vert y\Vert$，证明均值不等式：

$$\Vert f(x_1)-f(x_2)\Vert\leq M\Vert x_1-x_2\Vert$$

$\textbf{解：}$对$n=1,m=1$从定理可以直接得出。为了得出一般情况我们处理如下，利用链式法则我们有$(d/dt)f(tx_1+(1-t)x_2)=Df(tx_1+(1-t)x_2)\cdot(x_1-x_2)$，两边对$t$从$t=0$到$t=1$进行积分得$f(x_1)-f(x_2)=\int_0^1Df(tx_1+(1-t)x_2)\cdot(x_1-x_2)dt$，取绝对值并利用$Df$的假设可以得出所要的结论。这里利用了事实：积分的绝对值小于等于绝对值的积分。