一道很有趣的多元函数求极值问题

雅可比矩阵:“Jacobian“矩阵 1. 雅可比矩阵:"Jacobian"矩阵 在向量微积分中,雅可比矩阵是一阶偏导数以一定方式排列成的矩阵,雅可比矩阵类似于多元函数的导数,其行列式称为雅可比行列式;雅可比矩阵的重要性在于体现了一个可微方程与给定点的最优线性逼近,可进行非线性方程组在参考点的线性化,类如无人驾驶控制中线性模型预测控制需要的线性对象。 定义:假设是一个从n维欧氏空间映射到到m维欧氏空间的函数。这个函数由m个实函数组成这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵,这个矩阵就是所谓的雅可比矩阵: 此矩阵用符. 阅读详情

本文部分地方存在计算错误,但思路是正确的,后面等我有时间改一下

题目

设 0 < a < b , n ⩾ 1 0<a<b,n\geqslant 1 0<a<b,n⩾1. 试在 ( a , b ) (a,b) (a,b) 中选取 n n n 个点 x 1 , x 2 , ⋯   , x n x_1,x_2,\cdots,x_n x1​,x2​,⋯,xn​ 使得:
f = x 1 x 2 ⋯ x n ( a + x 1 ) ( x 1 + x 2 ) ⋯ ( x n + b ) (1) f=\frac{x_1x_2\cdots x_n}{(a+x_1)(x_1+x_2)\cdots(x_n+b)}\tag{1} f=(a+x1​)(x1​+x2​)⋯(xn​+b)x1​x2​⋯xn​​(1)

取最大值



一、求雅克比(Jacobian)矩阵

为了书写简便,我们令

f 1 ≜ x 1 x 2 ⋯ x n f 2 ≜ ( a + x 1 ) ( x 1 + x 2 ) + ⋯ + ( x n + b ) \begin{aligned} f_1 &\triangleq x_1x_2\cdots x_n\\ f_2&\triangleq(a+x_1)(x_1+x_2)+\cdots+(x_n+b) \end{aligned} f1​f2​​≜x1​x2​⋯xn​≜(a+x1​)(x1​+x2​)+⋯+(xn​+b)​

考虑

∂ f ∂ x i i = 1 , 2 , ⋯ n \frac{\partial f}{\partial x_i}\qquad i=1,2,\cdots n ∂xi​∂f​i=1,2,⋯n

当 i = 1 i =1 i=1 时:

∂ f ∂ x 1 = ∂ f 1 x 1 f 2 − f 1 ∂ f 2 x 1 f 2 2 = f 1 x 1 f 2 − f 1 ( a + 2 x 1 + x 2 ) f 2 ( a + x 1 ) ( x 1 + x 2 ) f 2 2 = f 1 x 1 f 2 − f 1 f 2 a + 2 x 1 + x 2 ( a + x 1 ) ( x 1 + x 2 ) = f x 1 − f ( a + x 1 ( a + x 1 ) ( x 1 + x 2 ) + x 1 + x 2 ( a + x 1 ) ( x 1 + x 2 ) ) = f ( 1 x 1 − 1 x 1 + x 2 − 1 a + x 1 ) \begin{aligned} \dfrac{\partial f}{\partial x_1}&=\dfrac{\dfrac{\partial f_1}{x_1}}{f_2}-f_1\dfrac{\dfrac{\partial f_2}{x_1}}{f_2^2}\\ &=\dfrac{\dfrac{f_1}{x_1}}{f_2}-f_1\dfrac{(a+2x_1+x_2)\dfrac{f_2}{(a+x_1)(x_1+x_2)}}{f_2^2}\\ &=\dfrac{f_1}{x_1f_2}-\dfrac{f_1}{f_2}\frac{a+2x_1+x_2}{(a+x_1)(x_1+x_2)}\\ &=\frac{f}{x_1}-f\left(\frac{a+x_1}{(a+x_1)(x_1+x_2)}+\frac{x_1+x_2}{(a+x_1)(x_1+x_2)}\right)\\ &=f(\frac{1}{x_1}-\frac{1}{x_1+x_2}-\frac{1}{a+x_1}) \end{aligned} ∂x1​∂f​​=f2​x1​∂f1​​​−f1​f22​x1​∂f2​​​=f2​x1​f1​​​−f1​f22​(a+2x1​+x2​)(a+x1​)(x1​+x2​)f2​​​=x1​f2​f1​​−f2​f1​​(a+x1​)(x1​+x2​)a+2x1​+x2​​=x1​f​−f((a+x1​)(x1​+x2​)a+x1​​+(a+x1​)(x1​+x2​)x1​+x2​​)=f(x1​1​−x1​+x2​1​−a+x1​1​)​

当 2 ⩽ i ⩽ n − 1 2\leqslant i\leqslant n-1 2⩽i⩽n−1 时:

∂ f ∂ x i = ∂ f 1 x i f 2 − f 1 ∂ f 2 x i f 2 2 = f 1 x i f 2 − f 1 ( x i − 1 + 2 x i + x i + 1 ) f 2 ( x i − 1 + x i ) ( x i + x i + 1 ) f 2 2 = f 1 x i f 2 − f 1 f 2 x i − 1 + 2 x i + x i + 1 ( x i − 1 + x i ) ( x i + x i + 1 ) = f x i − f ( x i − 1 + x i ( x i − 1 + x i ) ( x i + x i + 1 ) + x i + x i + 1 ( x i − 1 + x i ) ( x i + x i + 1 ) ) = f ( 1 x i − 1 x i − 1 + x i − 1 x i + x i + 1 ) \begin{aligned} \dfrac{\partial f}{\partial x_i}&=\dfrac{\dfrac{\partial f_1}{x_i}}{f_2}-f_1\dfrac{\dfrac{\partial f_2}{x_i}}{f_2^2}\\ &=\dfrac{\dfrac{f_1}{x_i}}{f_2}-f_1\dfrac{(x_{i-1}+2x_i+x_{i+1})\dfrac{f_2}{(x_{i-1}+x_{i})(x_i+x_{i+1})}}{f_2^2}\\ &=\dfrac{f_1}{x_if_2}-\dfrac{f_1}{f_2}\frac{x_{i-1}+2x_i+x_{i+1}}{(x_{i-1}+x_i)(x_i+x_{i+1})}\\ &=\frac{f}{x_i}-f\left(\frac{x_{i-1}+x_i}{(x_{i-1}+x_i)(x_i+x_{i+1})}+\frac{x_i+x_{i+1}}{(x_{i-1}+x_i)(x_i+x_{i+1})}\right)\\ &=f(\frac{1}{x_i}-\frac{1}{x_{i-1}+x_i}-\frac{1}{x_i+x_{i+1}}) \end{aligned} ∂xi​∂f​​=f2​xi​∂f1​​​−f1​f22​xi​∂f2​​​=f2​xi​f1​​​−f1​f22​(xi−1​+2xi​+xi+1​)(xi−1​+xi​)(xi​+xi+1​)f2​​​=xi​f2​f1​​−f2​f1​​(xi−1​+xi​)(xi​+xi+1​)xi−1​+2xi​+xi+1​​=xi​f​−f((xi−1​+xi​)(xi​+xi+1​)xi−1​+xi​​+(xi−1​+xi​)(xi​+xi+1​)xi​+xi+1​​)=f(xi​1​−xi−1​+xi​1​−xi​+xi+1​1​)​

当 i = n i=n i=n 时:

∂ f ∂ x n = ∂ f 1 x n f 2 − f 1 ∂ f 2 x n f 2 2 = f 1 x n f 2 − f 1 ( x n − 1 + 2 x n + b ) f 2 ( x n − 1 + x n ) ( x n + b ) f 2 2 = f 1 x n f 2 − f 1 f 2 x n − 1 + 2 x n + b ( x n − 1 + x n ) ( x n + b ) = f x n − f ( x n − 1 + x n ( x n − 1 + x n ) ( x n + x n + 1 ) + x n + b ( x n − 1 + x n ) ( x n + b ) ) = f ( 1 x n − 1 x n − 1 + x n − 1 x n + b ) \begin{aligned} \dfrac{\partial f}{\partial x_n}&=\dfrac{\dfrac{\partial f_1}{x_n}}{f_2}-f_1\dfrac{\dfrac{\partial f_2}{x_n}}{f_2^2}\\ &=\dfrac{\dfrac{f_1}{x_n}}{f_2}-f_1\dfrac{(x_{n-1}+2x_n+b)\dfrac{f_2}{(x_{n-1}+x_{n})(x_n+b)}}{f_2^2}\\ &=\dfrac{f_1}{x_nf_2}-\dfrac{f_1}{f_2}\frac{x_{n-1}+2x_n+b}{(x_{n-1}+x_n)(x_n+b)}\\ &=\frac{f}{x_n}-f\left(\frac{x_{n-1}+x_n}{(x_{n-1}+x_n)(x_n+x_{n+1})}+\frac{x_n+b}{(x_{n-1}+x_n)(x_n+b)}\right)\\ &=f(\frac{1}{x_n}-\frac{1}{x_{n-1}+x_n}-\frac{1}{x_n+b}) \end{aligned} ∂xn​∂f​​=f2​xn​∂f1​​​−f1​f22​xn​∂f2​​​=f2​xn​f1​​​−f1​f22​(xn−1​+2xn​+b)(xn−1​+xn​)(xn​+b)f2​​​=xn​f2​f1​​−f2​f1​​(xn−1​+xn​)(xn​+b)xn−1​+2xn​+b​=xn​f​−f((xn−1​+xn​)(xn​+xn+1​)xn−1​+xn​​+(xn−1​+xn​)(xn​+b)xn​+b​)=f(xn​1​−xn−1​+xn​1​−xn​+b1​)​

所以,
D f = f [ − 1 a + x 1 + 1 x 1 − 1 x 1 + x 2 − 1 x 1 + x 2 + 1 x 2 − 1 x 2 + x 3 ⋮ − 1 x n − 1 + x n + 1 x n − 1 x n + b ] {\rm D}f=f\begin{bmatrix} -\frac{1}{a+x_1}+\frac{1}{x_1}-\frac{1}{x_1+x_2}\\[5pt] -\frac{1}{x_{1}+x_2}+\frac{1}{x_2}-\frac{1}{x_2+x_{3}}\\[5pt] \vdots\\[5pt] -\frac{1}{x_{n-1}+x_n}+\frac{1}{x_n}-\frac{1}{x_n+b} \end{bmatrix} Df=f⎣⎢⎢⎢⎢⎢⎢⎡​−a+x1​1​+x1​1​−x1​+x2​1​−x1​+x2​1​+x2​1​−x2​+x3​1​⋮−xn−1​+xn​1​+xn​1​−xn​+b1​​⎦⎥⎥⎥⎥⎥⎥⎤​



二、求驻点

令 D f = 0 {\rm D}f=0 Df=0

D f = f [ − 1 a + x 1 + 1 x 1 − 1 x 1 + x 2 − 1 x 1 + x 2 + 1 x 2 − 1 x 2 + x 3 ⋮ − 1 x n − 1 + x n + 1 x n − 1 x n + b ] = 0 {\rm D}f=f\begin{bmatrix} -\frac{1}{a+x_1}+\frac{1}{x_1}-\frac{1}{x_1+x_2}\\[5pt] -\frac{1}{x_{1}+x_2}+\frac{1}{x_2}-\frac{1}{x_2+x_{3}}\\[5pt] \vdots\\[5pt] -\frac{1}{x_{n-1}+x_n}+\frac{1}{x_n}-\frac{1}{x_n+b} \end{bmatrix}=0 Df=f⎣⎢⎢⎢⎢⎢⎢⎡​−a+x1​1​+x1​1​−x1​+x2​1​−x1​+x2​1​+x2​1​−x2​+x3​1​⋮−xn−1​+xn​1​+xn​1​−xn​+b1​​⎦⎥⎥⎥⎥⎥⎥⎤​=0

得到:

− 1 a + x 1 + 1 x 1 − 1 x 1 + x 2 = 0 − 1 x 1 + x 2 + 1 x 2 − 1 x 2 + x 3 = 0 − 1 x 2 + x 3 + 1 x 3 − 1 x 3 + x 4 = 0 ⋮ − 1 x n − 1 + x n + 1 x n − 1 x n + b = 0 -\frac{1}{a+x_1}+\frac{1}{x_1}-\frac{1}{x_1+x_2}=0\\[5pt] -\frac{1}{x_{1}+x_2}+\frac{1}{x_2}-\frac{1}{x_2+x_{3}}=0\\[5pt] -\frac{1}{x_{2}+x_3}+\frac{1}{x_3}-\frac{1}{x_3+x_{4}}=0\\[5pt] \vdots\\[5pt] -\frac{1}{x_{n-1}+x_n}+\frac{1}{x_n}-\frac{1}{x_n+b}=0 −a+x1​1​+x1​1​−x1​+x2​1​=0−x1​+x2​1​+x2​1​−x2​+x3​1​=0−x2​+x3​1​+x3​1​−x3​+x4​1​=0⋮−xn−1​+xn​1​+xn​1​−xn​+b1​=0

整理得到:

x 2 x 1 = x 1 a x 3 x 2 = x 2 x 1 ⋮ ⋮ x n x n − 1 = x n − 1 x i − 2 b x n = x n x n − 1 \frac{x_2}{x_1}=\frac{x_1}{a}\\[5pt] \frac{x_3}{x_2}=\frac{x_2}{x_1}\\[5pt] \vdots\\[5pt] \vdots\\[5pt] \frac{x_n}{x_{n-1}}=\frac{x_{n-1}}{x_{i-2}}\\[5pt] \frac{b}{x_n}=\frac{x_n}{x_{n-1}} x1​x2​​=ax1​​x2​x3​​=x1​x2​​⋮⋮xn−1​xn​​=xi−2​xn−1​​xn​b​=xn−1​xn​​

不难看出, { x n } \{x_n\} {xn​} 是一个等比数列

x n = k n a , k = a − 1 n + 1 b 1 n + 1 x_n=k^na,\qquad k=a^{-\frac{1}{n+1}}b^\frac{1}{n+1} xn​=kna,k=a−n+11​bn+11​

记

X ≜ ( x 1 , x 2 , ⋯   , x n ) \mathbb{X}\triangleq(x_1,x_2,\cdots,x_n) X≜(x1​,x2​,⋯,xn​)



三、计算驻点处函数值

f ∣ X = k a ⋅ k 2 a ⋯ k n a ( a + k a ) ( k a + k 2 a ) ⋯ ( k n a + k n + 1 a ) = k 1 + 2 + ⋯ + n a n k 1 + 2 + ⋯ + n a n + 1 ( 1 + k ) n + 1 = 1 a ( 1 + k ) n + 1 \begin{aligned} f|_\mathbb{X}&=\dfrac{ka\cdot k^2a\cdots k^na}{(a+ka)(ka+k^2a)\cdots(k^na+k^{n+1}a)}\\[10pt] &=\frac{k^{1+2+\cdots+n}a^n}{k^{1+2+\cdots+n}a^{n+1}(1+k)^{n+1}}\\[10pt] &=\frac{1}{a(1+k)^{n+1}} \end{aligned} f∣X​​=(a+ka)(ka+k2a)⋯(kna+kn+1a)ka⋅k2a⋯kna​=k1+2+⋯+nan+1(1+k)n+1k1+2+⋯+nan​=a(1+k)n+11​​



四、计算驻点处黑塞(Hessian)矩阵

计算

∂ 2 f ∂ x i ∂ x j \frac{\partial^2f}{\partial x_i\partial x_j} ∂xi​∂xj​∂2f​

因为是对称矩阵,所以无需考虑 i > j i>j i>j 的情况

当 i = 1 i=1 i=1 时:
\qquad 当 j = 1 j=1 j=1 时:
∂ 2 f ∂ x 1 2 = ∂ ∂ x 1 ∂ f ∂ x 1 = ∂ ∂ x 1 [ f ( 1 x 1 − 1 x 1 + x 2 − 1 a + x 1 ) ] = f 1 ( 1 x 1 − 1 x 1 + x 2 − 1 a + x 1 ) + f ( − 1 x 1 2 + 1 ( x 1 + x 2 ) 2 + 1 ( a + x 1 ) 2 \begin{aligned} \frac{\partial^2f}{\partial x_1^2}&=\frac{\partial}{\partial x_1}\frac{\partial f}{\partial x_1}\\ &=\frac{\partial}{\partial x_1}[f(\frac{1}{x_1}-\frac{1}{x_1+x_2}-\frac{1}{a+x_1})]\\ &=f_1(\frac{1}{x_1}-\frac{1}{x_1+x_2}-\frac{1}{a+x_1})+f(-\frac{1}{x_1^2}+\frac{1}{(x_1+x_2)^2}+\frac{1}{(a+x_1)^2} \end{aligned} ∂x12​∂2f​​=∂x1​∂​∂x1​∂f​=∂x1​∂​[f(x1​1​−x1​+x2​1​−a+x1​1​)]=f1​(x1​1​−x1​+x2​1​−a+x1​1​)+f(−x12​1​+(x1​+x2​)21​+(a+x1​)21​​

f 1 ( 1 x 1 − 1 x 1 + x 2 − 1 a + x 1 ) ∣ X = 0 f_1(\frac{1}{x_1}-\frac{1}{x_1+x_2}-\frac{1}{a+x_1})|_{\mathbb{X}}=0 f1​(x1​1​−x1​+x2​1​−a+x1​1​)∣X​=0

f ( − 1 x 1 2 + 1 ( x 1 + x 2 ) 2 + 1 ( a + x 1 ) 2 ) ∣ X = 1 a 1 ( 1 + k ) n + 1 ( 1 x 1 2 ) ( − 1 + 1 ( 1 + x 2 x 1 ) 2 + 1 ( 1 + a x 1 ) 2 ) = 1 ( 1 + k ) n + 1 1 a x 1 2 ( x 1 2 ( x 1 + a ) 2 + a 2 ( x 1 + a ) 2 − 1 ) = − 1 ( 1 + k ) n + 1 2 x 1 ( x 1 + a ) 2 \begin{aligned} f(-\frac{1}{x_1^2}+\frac{1}{(x_1+x_2)^2}+\frac{1}{(a+x_1)^2})|_{\mathbb{X}}&=\frac{1}{a}\frac{1}{(1+k)^{n+1}}(\frac{1}{x_1^2})(-1+\frac{1}{(1+\frac{x_2}{x_1})^2}+\frac{1}{(1+\frac{a}{x_1})^2})\\[10pt] &=\frac{1}{(1+k)^{n+1}}\frac{1}{ax_1^2}(\frac{x_1^2}{(x_1+a)^2}+\frac{a^2}{(x_1+a)^2}-1)\\[10pt] &=-\frac{1}{(1+k)^{n+1}}\frac{2}{x_1(x_1+a)^2} \end{aligned} f(−x12​1​+(x1​+x2​)21​+(a+x1​)21​)∣X​​=a1​(1+k)n+11​(x12​1​)(−1+(1+x1​x2​​)21​+(1+x1​a​)21​)=(1+k)n+11​ax12​1​((x1​+a)2x12​​+(x1​+a)2a2​−1)=−(1+k)n+11​x1​(x1​+a)22​​


\qquad 当 j = 2 j=2 j=2 时:
∂ 2 f ∂ x 1 ∂ x 2 = ∂ ∂ x 2 ∂ f ∂ x 1 = ∂ ∂ x 2 [ f ( 1 x 1 − 1 x 1 + x 2 − 1 a + x 1 ) ] = f 2 ( 1 x 1 − 1 x 1 + x 2 − 1 a + x 1 ) + f 1 ( x 1 + x 2 ) 2 \begin{aligned} \frac{\partial^2f}{\partial x_1\partial x_2}&=\frac{\partial}{\partial x_2}\frac{\partial f}{\partial x_1}\\ &=\frac{\partial}{\partial x_2}[f(\frac{1}{x_1}-\frac{1}{x_1+x_2}-\frac{1}{a+x_1})]\\ &=f_2(\frac{1}{x_1}-\frac{1}{x_1+x_2}-\frac{1}{a+x_1})+f\frac{1}{(x_1+x_2)^2} \end{aligned} ∂x1​∂x2​∂2f​​=∂x2​∂​∂x1​∂f​=∂x2​∂​[f(x1​1​−x1​+x2​1​−a+x1​1​)]=f2​(x1​1​−x1​+x2​1​−a+x1​1​)+f(x1​+x2​)21​​

∂ 2 f ∂ x 1 ∂ x 2 ∣ X = 0 + 1 a 1 ( 1 + k ) n + 1 1 ( x 1 + x 2 ) 2 = 1 a ( x 1 + x 2 ) 2 1 ( 1 + k ) n + 1 \begin{aligned} \frac{\partial^2f}{\partial x_1\partial x_2}|_\mathbb{X}&=0+\frac{1}{a}\frac{1}{(1+k)^{n+1}}\frac{1}{(x_1+x_2)^2}\\[10pt] &=\frac{1}{a(x_1+x_2)^2}\frac{1}{(1+k)^{n+1}} \end{aligned} ∂x1​∂x2​∂2f​∣X​​=0+a1​(1+k)n+11​(x1​+x2​)21​=a(x1​+x2​)21​(1+k)n+11​​

\qquad 当 j = 3 , 4 , ⋯   , n j=3,4,\cdots,n j=3,4,⋯,n

∂ 2 f ∂ x i ∂ x j = 0 \frac{\partial^2f}{\partial x_i\partial x_j}=0 ∂xi​∂xj​∂2f​=0


当 i = 2 , 3 , ⋯   , n − 1 i=2,3,\cdots,n-1 i=2,3,⋯,n−1

\qquad 当 j = i j=i j=i

∂ 2 f ∂ x i 2 = ∂ ∂ x i ∂ f ∂ x i = ∂ ∂ x i [ f ( 1 x i − 1 x i − 1 + x i − 1 x i + x i + 1 ) ] = f i ( 1 x i − 1 x i − 1 + x i − 1 x i + x i + 1 ) + f ( − 1 x i 2 + 1 ( x i − 1 + x i ) 2 + 1 ( x i + x i + 1 ) 2 ) \begin{aligned} \frac{\partial^2f}{\partial x_i^2}&=\frac{\partial}{\partial x_i}\frac{\partial f}{\partial x_i}\\ &=\frac{\partial}{\partial x_i}[f(\frac{1}{x_i}-\frac{1}{x_{i-1}+x_i}-\frac{1}{x_i+x_{i+1}})]\\ &=f_i(\frac{1}{x_i}-\frac{1}{x_{i-1}+x_i}-\frac{1}{x_i+x_{i+1}})+f(-\frac{1}{x_i^2}+\frac{1}{(x_{i-1}+x_i)^2}+\frac{1}{(x_i+x_{i+1})^2}) \end{aligned} ∂xi2​∂2f​​=∂xi​∂​∂xi​∂f​=∂xi​∂​[f(xi​1​−xi−1​+xi​1​−xi​+xi+1​1​)]=fi​(xi​1​−xi−1​+xi​1​−xi​+xi+1​1​)+f(−xi2​1​+(xi−1​+xi​)21​+(xi​+xi+1​)21​)​

f i ( 1 x i − 1 x i − 1 + x i − 1 x i + x i + 1 ) ∣ X = 0 f_i(\frac{1}{x_i}-\frac{1}{x_{i-1}+x_i}-\frac{1}{x_i+x_{i+1}})|_\mathbb{X}=0 fi​(xi​1​−xi−1​+xi​1​−xi​+xi+1​1​)∣X​=0

f ( − 1 x i 2 + 1 ( x i − 1 + x i ) 2 + 1 ( x i + x i + 1 ) 2 ) ∣ X = 1 a 1 ( 1 + k ) n + 1 1 x i 2 ( − 1 + 1 ( 1 + x i − 1 x i ) 2 + 1 ( 1 + x i + 1 x i ) 2 ) = 1 a x i 2 1 ( 1 + k ) n + 1 − 2 a x 1 ( a + x 1 ) 2 = − 2 x 1 x i 2 ( a + x 1 ) 2 1 ( 1 + k ) n + 1 \begin{aligned} f(-\frac{1}{x_i^2}+\frac{1}{(x_{i-1}+x_i)^2}+\frac{1}{(x_i+x_{i+1})^2})|_\mathbb{X}&=\frac{1}{a}\frac{1}{(1+k)^{n+1}}\frac{1}{x_i^2}(-1+\frac{1}{(1+\frac{x_{i-1}}{x_i})^2}+\frac{1}{(1+\frac{x_{i+1}}{x_{i}})^2})\\[10pt] &=\frac{1}{ax_i^2}\frac{1}{(1+k)^{n+1}}\frac{-2ax_1}{(a+x_1)^2}\\[10pt] &=\frac{-2x_1}{x_i^2(a+x_1)^2}\frac{1}{(1+k)^{n+1}} \end{aligned} f(−xi2​1​+(xi−1​+xi​)21​+(xi​+xi+1​)21​)∣X​​=a1​(1+k)n+11​xi2​1​(−1+(1+xi​xi−1​​)21​+(1+xi​xi+1​​)21​)=axi2​1​(1+k)n+11​(a+x1​)2−2ax1​​=xi2​(a+x1​)2−2x1​​(1+k)n+11​​


\qquad 当 j = i + 1 j=i+1 j=i+1 时

∂ 2 f ∂ x i + 1 ∂ x i = ∂ ∂ x i + 1 ∂ f ∂ x i = ∂ ∂ x i + 1 [ f ( 1 x i − 1 x i − 1 + x i − 1 x i + x i + 1 ) ] = f i + 1 ( 1 x i − 1 x i − 1 + x i − 1 x i + x i + 1 ) + f 1 ( x i + x i + 1 ) 2 \begin{aligned} \frac{\partial^2f}{\partial x_{i+1}\partial x_i}&=\frac{\partial}{\partial x_{i+1}}\frac{\partial f}{\partial x_i}\\ &=\frac{\partial}{\partial x_{i+1}}[f(\frac{1}{x_i}-\frac{1}{x_{i-1}+x_i}-\frac{1}{x_i+x_{i+1}})]\\ &=f_{i+1}(\frac{1}{x_i}-\frac{1}{x_{i-1}+x_i}-\frac{1}{x_i+x_{i+1}})+f\frac{1}{(x_i+x_{i+1})^2} \end{aligned} ∂xi+1​∂xi​∂2f​​=∂xi+1​∂​∂xi​∂f​=∂xi+1​∂​[f(xi​1​−xi−1​+xi​1​−xi​+xi+1​1​)]=fi+1​(xi​1​−xi−1​+xi​1​−xi​+xi+1​1​)+f(xi​+xi+1​)21​​

∂ 2 f ∂ x i + 1 ∂ x i ∣ X = 0 + 1 a 1 ( 1 + k ) n + 1 1 ( x i + x i + 1 ) 2 = 1 a ( x i + x i + 1 ) 2 1 ( 1 + k ) n + 1 \begin{aligned} \frac{\partial^2f}{\partial x_{i+_1}\partial x_i}|_\mathbb{X}&=0+\frac{1}{a}\frac{1}{(1+k)^{n+1}}\frac{1}{(x_i+x_{i+1})^2}\\[10pt] &=\frac{1}{a(x_i+x_{i+1})^2}\frac{1}{(1+k)^{n+1}} \end{aligned} ∂xi+1​​∂xi​∂2f​∣X​​=0+a1​(1+k)n+11​(xi​+xi+1​)21​=a(xi​+xi+1​)21​(1+k)n+11​​


\qquad 当 j = i + 2 , i + 3 , ⋯   , n j=i+2,i+3,\cdots,n j=i+2,i+3,⋯,n

∂ 2 f ∂ x i ∂ x j = 0 \frac{\partial^2f}{\partial x_i\partial x_j}=0 ∂xi​∂xj​∂2f​=0


当 i = j = n i=j=n i=j=n 时:

∂ 2 f ∂ x n 2 = ∂ ∂ x n ∂ f ∂ x n = ∂ ∂ x n [ f ( 1 x n − 1 x n − 1 + x n − 1 x n + b ) ] = f n ( 1 x n − 1 x n − 1 + x n − 1 x n + b ) + f ( − 1 x n 2 + 1 ( x n − 1 + x n ) 2 + 1 ( x n + b ) 2 ) \begin{aligned} \frac{\partial^2f}{\partial x_n^2}&=\frac{\partial}{\partial x_n}\frac{\partial f}{\partial x_n}\\ &=\frac{\partial}{\partial x_n}[f(\frac{1}{x_n}-\frac{1}{x_{n-1}+x_n}-\frac{1}{x_n+b})]\\ &=f_n(\frac{1}{x_n}-\frac{1}{x_{n-1}+x_n}-\frac{1}{x_n+b})+f(-\frac{1}{x_n^2}+\frac{1}{(x_{n-1}+x_n)^2}+\frac{1}{(x_n+b)^2}) \end{aligned} ∂xn2​∂2f​​=∂xn​∂​∂xn​∂f​=∂xn​∂​[f(xn​1​−xn−1​+xn​1​−xn​+b1​)]=fn​(xn​1​−xn−1​+xn​1​−xn​+b1​)+f(−xn2​1​+(xn−1​+xn​)21​+(xn​+b)21​)​

f n ( 1 x n − 1 x n − 1 + x i − 1 x n + b ) ∣ X = 0 f_n(\frac{1}{x_n}-\frac{1}{x_{n-1}+x_i}-\frac{1}{x_n+b})|_\mathbb{X}=0 fn​(xn​1​−xn−1​+xi​1​−xn​+b1​)∣X​=0

f ( − 1 x n 2 + 1 ( x n − 1 + x n ) 2 + 1 ( x n + b ) 2 ) ∣ X = 1 a 1 ( 1 + k ) n + 1 1 x n 2 ( − 1 + 1 ( 1 + x n − 1 x n ) 2 + 1 ( 1 + b x n ) 2 ) = 1 a x n 2 − 2 a x 1 ( a + x 1 ) 2 1 ( 1 + k ) n + 1 = − 2 x 1 x n 2 ( a + x 1 ) 2 1 ( 1 + k ) n + 1 \begin{aligned} f(-\frac{1}{x_n^2}+\frac{1}{(x_{n-1}+x_n)^2}+\frac{1}{(x_n+b)^2})|_\mathbb{X}&=\frac{1}{a}\frac{1}{(1+k)^{n+1}}\frac{1}{x_n^2}(-1+\frac{1}{(1+\frac{x_{n-1}}{x_n})^2}+\frac{1}{(1+\frac{b}{x_{n}})^2})\\[10pt] &=\frac{1}{ax_n^2}\frac{-2ax_1}{(a+x_1)^2}\frac{1}{(1+k)^{n+1}}\\[10pt] &=\frac{-2x_1}{x_n^2(a+x_1)^2}\frac{1}{(1+k)^{n+1}} \end{aligned} f(−xn2​1​+(xn−1​+xn​)21​+(xn​+b)21​)∣X​​=a1​(1+k)n+11​xn2​1​(−1+(1+xn​xn−1​​)21​+(1+xn​b​)21​)=axn2​1​(a+x1​)2−2ax1​​(1+k)n+11​=xn2​(a+x1​)2−2x1​​(1+k)n+11​​


综上,

H e s s f = 1 ( 1 + k ) n + 1 [ − 2 x 1 x 1 2 ( a + x 1 ) 2 1 a ( x 1 + x 2 ) 2 0 ⋯ 0 1 a ( x 1 + x 2 ) 2 − 2 x 1 x 2 2 ( a + x 1 ) 2 1 a ( x 2 + x 3 ) 2 ⋯ 0 0 1 a ( x 2 + x 3 ) 2 − 2 x 1 x 3 2 ( a + x 1 ) 2 ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 0 0 ⋯ − 2 x 1 x n 2 ( a + x 1 ) 2 ] n × n {\rm Hess}f=\frac{1}{(1+k)^{n+1}}\begin{bmatrix} \frac{-2x_1}{x_1^2(a+x_1)^2} & \frac{1}{a(x_1+x_2)^2} & 0&\cdots &0\\[20pt] \frac{1}{a(x_1+x_2)^2} & \frac{-2x_1}{x_2^2(a+x_1)^2} &\frac{1}{a(x_2+x_{3})^2}&\cdots&0\\[20pt] 0&\frac{1}{a(x_2+x_{3})^2}& \frac{-2x_1}{x_3^2(a+x_1)^2} &\cdots&0\\[20pt] \vdots&\vdots&\vdots&&\vdots\\[20pt] 0&0&0&\cdots&\frac{-2x_1}{x_n^2(a+x_1)^2} \end{bmatrix}_{n\times n} Hessf=(1+k)n+11​⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​x12​(a+x1​)2−2x1​​a(x1​+x2​)21​0⋮0​a(x1​+x2​)21​x22​(a+x1​)2−2x1​​a(x2​+x3​)21​⋮0​0a(x2​+x3​)21​x32​(a+x1​)2−2x1​​⋮0​⋯⋯⋯⋯​000⋮xn2​(a+x1​)2−2x1​​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​n×n​



五、证明驻点处黑塞(Hessian)矩阵为负定矩阵

考虑到 { x n } \{x_n\} {xn​} 是等比数列,则 x n ≜ k n a x_n\triangleq k^na xn​≜kna

H e s s {\rm Hess} Hess 矩阵可以改写成:

H e s s f = 1 ( 1 + k ) n + 1 [ − 2 a 3 k ( 1 + k ) 2 1 a 3 k 2 ( 1 + k ) 2 0 ⋯ 0 1 a 3 k 2 ( 1 + k ) 2 − 2 a 3 k 3 ( 1 + k ) 2 1 a 3 k 4 ( 1 + k ) 2 ⋯ 0 0 1 a 3 k 4 ( 1 + k ) 2 − 2 a 3 k 5 ( 1 + k ) 2 ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 0 0 ⋯ − 2 a 3 k 2 n − 1 ( 1 + k ) 2 ] n × n {\rm Hess}f=\frac{1}{(1+k)^{n+1}}\begin{bmatrix} \frac{-2}{a^3k(1+k)^2} & \frac{1}{a^3k^2(1+k)^2} & 0&\cdots &0\\[20pt] \frac{1}{a^3k^2(1+k)^2} & \frac{-2}{a^3k^3(1+k)^2} &\frac{1}{a^3k^4(1+k)^2}&\cdots&0\\[20pt] 0&\frac{1}{a^3k^4(1+k)^2}& \frac{-2}{a^3k^5(1+k)^2} &\cdots&0\\[20pt] \vdots&\vdots&\vdots&&\vdots\\[20pt] 0&0&0&\cdots&\frac{-2}{a^3k^{2n-1}(1+k)^2} \end{bmatrix}_{n\times n} Hessf=(1+k)n+11​⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​a3k(1+k)2−2​a3k2(1+k)21​0⋮0​a3k2(1+k)21​a3k3(1+k)2−2​a3k4(1+k)21​⋮0​0a3k4(1+k)21​a3k5(1+k)2−2​⋮0​⋯⋯⋯⋯​000⋮a3k2n−1(1+k)2−2​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​n×n​

因此,只需证明下列矩阵 A A A 是正定的

A = [ − 2 k 1 0 ⋯ 0 k 2 − 2 k 1 ⋯ 0 0 k 2 − 2 k ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 0 0 ⋯ − 2 k ] n × n A=\begin{bmatrix} -2k & 1 & 0&\cdots &0\\[10pt] k^2 & -2k &1&\cdots&0\\[10pt] 0&k^2&-2k &\cdots&0\\[10pt] \vdots&\vdots&\vdots&&\vdots\\[10pt] 0&0&0&\cdots&-2k \end{bmatrix}_{n\times n} A=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​−2kk20⋮0​1−2kk2⋮0​01−2k⋮0​⋯⋯⋯⋯​000⋮−2k​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​n×n​

设矩阵

D n = [ − 2 k 1 0 ⋯ 0 k 2 − 2 k 1 ⋯ 0 0 k 2 − 2 k ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 0 0 ⋯ − 2 k ] n × n D_n=\begin{bmatrix} -2k & 1 & 0&\cdots &0\\[10pt] k^2 & -2k &1&\cdots&0\\[10pt] 0&k^2&-2k &\cdots&0\\[10pt] \vdots&\vdots&\vdots&&\vdots\\[10pt] 0&0&0&\cdots&-2k \end{bmatrix}_{n\times n} Dn​=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​−2kk20⋮0​1−2kk2⋮0​01−2k⋮0​⋯⋯⋯⋯​000⋮−2k​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​n×n​

假设 ∣ D n ∣ = ( − 1 ) n ( n + 1 ) k n |D_n|=(-1)^n(n+1)k^n ∣Dn​∣=(−1)n(n+1)kn

当 n = 1 n=1 n=1 时,满足上式

假设 n ⩽ p n\leqslant p n⩽p 时,满足上式,则

D p = [ − 2 k 1 0 ⋯ 0 k 2 − 2 k 1 ⋯ 0 0 k 2 − 2 k ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 0 0 ⋯ − 2 k ] p × p = − 2 k D p − 1 + k 2 D p − 2 = ( − 1 ) p ( p + 1 ) k p \begin{aligned} D_p&=\begin{bmatrix} -2k & 1 & 0&\cdots &0\\[10pt] k^2 & -2k &1&\cdots&0\\[10pt] 0&k^2&-2k &\cdots&0\\[10pt] \vdots&\vdots&\vdots&&\vdots\\[10pt] 0&0&0&\cdots&-2k \end{bmatrix}_{p\times p}\\[10pt] &=-2kD_{p-1}+k^2D_{p-2}\\ &=(-1)^p(p+1)k^p \end{aligned} Dp​​=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​−2kk20⋮0​1−2kk2⋮0​01−2k⋮0​⋯⋯⋯⋯​000⋮−2k​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​p×p​=−2kDp−1​+k2Dp−2​=(−1)p(p+1)kp​

满足上式

所以矩阵 A A A 的奇数主子式大于零,偶数主子式小于零,所以 A A A 是负定矩阵,所以 H e s s f {\rm Hess}f Hessf 是负定矩阵



结论

综上所述, f f f 在 ( k a , k 2 a , ⋯   , k n a ) (ka,k^2a,\cdots,k^na) (ka,k2a,⋯,kna) 处取得最小值 a / 2 a/2 a/2 ,其中 k = a − 1 n + 1 b 1 n + 1 k=a^{-\frac{1}{n+1}}b^\frac{1}{n+1} k=a−n+11​bn+11​

Jacobian矩阵的理解 Jacobian矩阵的理解 前言 学习RNN时看到Jacobian矩阵时我的内心是崩溃的,啥是Jacobian矩阵,怎么活生生就蹦出来一个Jacobian矩阵,说好的bp算法只用求导呢,然后就开始扒Jacobian矩阵的知识,顺便补点数学知识(对不起线代老师啊.泪目) 数学知识强补 这里数学知识的引用来自:向量/矩阵求导强行补救 看到第8条就够了,想看更多的原文链接已经贴在上面了 Jacob... 阅读详情

相关推荐

Hessian矩阵与多元函数极值

海塞矩阵(Hessian Matrix)是一个多元函数的二阶偏导数构成的方阵。它在机器学习和图像处理中,具有重要应用。例如,图像特征检测中的SIFT和SURF算法中就用到了它。此外,很多机器学习算法(例如Logistics回归)的优化求解过程中也会涉及到它。本文就来向读者道一道Hessian Matrix的来龙去脉

白马负金羁 3万+

雅可比(jacobian)、黑塞矩阵(Hessian)

雅可比矩阵和hessIan

weixin_39354845的博客 2万+

工业异常检测评价指标(I-AUROC、PRO等)

模型评价指标:TPR、FPR、Recall、ROC、AUC、AUROC、IoU、PRO、AUPRO等

qq_1532145264的博客 7450

简介雅可比矩阵(Jacobian)

雅可比矩阵,有时简称为雅可比矩阵,是一个一阶偏导矩阵(在某些情况下,术语“雅可比矩阵”也指雅可比矩阵的行列式)。 注意,在某些约定中,雅可比矩阵是上述矩阵的转置。 其中m=n为方阵,常用于坐标变换,特别是取多个积分和确定复杂函数是否holomorphic时。例如,在二维中表示变量从x到x(u,v)和从y到y(u,v)的变化的雅可比矩阵被表示为 雅可比矩阵通常是指高维函数的导数...

kaggle expert,全球排名前1000,清华计算机研究生,兴趣算法工程 3万+

HDLBits答案汇总

前言 该博客为本人做HDLBits习题时的心得记录总结,欢迎大家一起交流进步。 HDLBits网站链接 Verilog Language Basics Vectors Modules:Hierarchy Procedures More Verilog Features Circuits Combinational Logic Basic gates Multiplexers Arithmetic Circuits Karnaugh Map to Circuit Sequential Logic Latche

谦豫 9万+

Python自动化神器:5分钟搞定PSCAD仿真波形图导出到Word(附WPS兼容方案)

本文介绍如何利用Python自动化库快速将PSCAD仿真波形图导出到Word或WPS,大幅提升电力系统仿真工程师的工作效率。通过精准坐标定位、智能排版和批量处理功能,实现仿真报告的自动化生成,同时提供WPS兼容方案,适用于不同办公环境。

sony5的博客 210

Jacobian矩阵和Hessian矩阵

在向量分析中,雅可比矩阵是一阶偏导数以一定方式排列成的矩阵,其行列式称为雅可比行列式. 还有, 在代数几何中,代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群,曲线可以嵌入其中。高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性, 使得牛顿迭代求解的难度大大增加, 但是已经有了解决这个问题的办法就是Quasi-Newton method, 不再直接计算hessian矩阵, 而是每一步的时候使用梯度向量更新hessian矩阵的近似。于是我们可以取它的行列式,称为雅可比行列式。

lovely_yoshino的博客 9873

灰质-白质组织对比(Gray-white matter tissue contrast,GWC)计算以及可视化

GWC是深层灰质与浅表白质(superficial white matter,SWM)之间T1加权信号强度的比值,已知髓鞘中的胆固醇是T1加权信号强度的主要影响因素,因此GWC大致反映了大脑皮层和浅表白质之间的髓鞘化差异。GWC代表灰白质交界处的模糊程度,较低的GWC表明灰质和白质交界处更相似和更模糊;较高的GWC表明灰白质分界更加清楚。据之前的研究报道,局灶性皮质发育不良、颞叶癫痫、帕金森病、强迫症、精神分裂症和自闭症谱系障碍中存在灰白质交界区GWC异常增高或降低。 灰质信号强度和白质信号强度采集的示意图

xxx 736

多元函数极值问题

多元函数极值问题 可以分为以下三个方面 无约束极值问题 等式约束条件极值问题 不等式约束条件极值问题 无约束条件的多元函数极值

qq_40241332的博客 3091

【Bug已解决】Codex App returns 401 Missing bearer/basic authentication after login on multiple Windows la

原始报错:Codex App returns 401 Missing bearer/basic authentication after login on multiple Windows laptops场景:用户在 Windows 笔记本上登录应用成功了,但随后每个业务请求都返回 401,提示"Missing bearer/basic authentication"。登录态像是"假的"——明明登了,请求却没带任何认证信息。多台 Windows 设备都能复现。

一键难忘的博客 601

图解电动汽车:电动汽车电控系统

电动汽车的电控系统通常包含三个子控制系统 —— 整车控制器、电池管理系统、驱动电机控制器。 整车控制器 VCU 整车控制器 VCU(Vehicle Control Unit)作为电动汽车的中央控制单元,是整个控制系统的核心,也是各个子系统的调控中心。VCU 的主要功能就是协调管理整车的运行状态,包括采集电机及电池状态,采集加速踏板信号、制动踏板信号、执行器及传感器信号,根据驾驶员的意图综合分析做出相应判定后,监控下层的各部件控制器的动作,它负责汽车的正常行驶、制动能量回馈、整车发动机及动力电池的能量管理、.

程序员「阿基米东」的编程之旅 1万+

多元函数求极值问题

今天来讨论多元函数求极值问题,在Logistic回归用牛顿迭代法求参数会提到这个,所以很有必要把它研究清楚。   回想一下,一元函数求极值问题中我们是怎样做的?比如对于凹函数,先求一阶导数,得到, 由于极值处导数一定为零,但是导数等于零的点不一定就有极值,比如。所以我们还需要进一步判断,对 函数继续求二阶导得到,现在因为在驻点处二阶导数成立,所以 在处取得极小值,二阶导数在这里的意义就是

ACdreamer 3万+

Unity 面试篇|(六)数据结构和算法篇 【全面总结 | 持续更新】

先拿10000个数建堆,然后一次添加剩余元素,如果大于堆顶的数(10000中最小的),将这个数替换堆顶,并调整结构使之仍然是一个最小堆,这样遍历完后,堆中的10000个数就是所需的最大的10000个。桶排序是计数排序的升级版。它的工作原理:首先在未排序序列中找到最小(大)元素,存放到排序序列的起始位置,然后,再从剩余未排序元素中继续寻找最小(大)元素,然后放到已排序序列的末尾。这样处理就可以分别在每个文件的10^6个数据中找出最大的10000个数,合并到一起在再找出1000*10000中的最终的结果。

游戏开发小Y的博客 12万+

模拟退火法和蚁群算法求解多元函数极值问题

模拟退火法和蚁群算法求解多元函数极值问题 目标函数: 算法概述 模拟退火算法 模拟退火算法(Simulated Annealing,简称SA)的思想最早是由Metropolis等提出的。其出发点是基于物理中固体物质的退火过程与一般的组合优化问题之间的相似性。模拟退火法是一种通用的优化算法,其物理退火过程由以下三部分组成: 加温过程。其目的是增强粒子的热运动,使其偏离平衡位置。当温度足够高时,固体将...

UESTC 五高考3模拟的博客 8695

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

数学分析 - 多元函数的微分学

多元函数的可微性 可微性 || 定义一:可微性和全微分的定义 (注意:全增量—> 全微分) 偏导数 || 定义二:偏导数的定义 || 偏导数的几何意义: 可微性条件 || 定理1:可微的必要条件 || 全微分的新形式: dz = fx(x,y)dx + fy(x,y)dy || 定理2:可微的充分条件: || 定理3:全增量的另一种形式 可微性的几何意义 || 定义三:切平面的...

fang 0 jun的博客 2万+

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

03 高等数学专题——多元函数微积分

高等数学积分理解复习 看文章目录复习!!! 平面直线、平面曲线方程: 共性:二元函数,用f(x,y)=0或y=f(x)表示 特性: 平面直线——变量呈线性关系Ax+By+C=0 平面曲线——变量x与y呈非线性关系(甚至不是函数,可能围成了闭合曲线) 空间平面、空间曲面方程: 共性:三元函数,用f(x,y,z)=0或z=f(x,y)表示 特性: 空间平面——变量呈线性关系Ax+By+Cz+D=0 空间曲面——变量x、y、z呈非线性关系(甚至不是函数,可能围成了闭合曲面) 空间直线、空间曲线方程: 空间直线:两

qq_44292038的博客 2万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【Matlab】求多元函数极值问题

求

qq_42598108的博客 7966

高等数学中的多元函数极值问题及其求解方法

本文详细介绍了多元函数极值的定义、求解方法以及条件极值的处理方式。通过具体的例子,展示了如何应用这些方法解决实际问题。极值的定义和几何意义:理解极值点的定义以及其在函数图像上的表现。极值存在的条件:掌握一阶和二阶偏导数在极值点处的性质。极值的求解步骤:学会求驻点和判别极值的方法。条件极值的求解方法:掌握拉格朗日乘数法及其推广形式。希望本文能够帮助大家更好地理解和掌握多元函数极值的相关知识,为后续的学习和应用打下坚实的基础。

吾为热爱计科,致力于知识分享的践行者,此博客是我在这条道路上留下的足迹。 2527

matlab多元函数求最优,MATLAB多元函数导数求极值或最优值

MATLAB多元函数导数求极值或最优值 实验六 多元函数的极值 【实验目的】 1. 多元函数偏导数的求法。 2. 多元函数自由极值的求法 3. 多元函数条件极值的求法. 4. 学习掌握MATLAB软件有关的命令。 【实验内容】 求函数的极值点和极值 【实验准备】 1.计算多元函数的自由极值 对于多元函数的自由极值问题,根据多元函数极值的必要和充分条件,可分为以下几个步骤: 步骤1.定义多元函数 步...

weixin_39702479的博客 3995

matlab 海塞矩阵 多元函数求极值,基于Hessian矩阵的多元函数极值问题.pdf

您所在位置:网站首页 > 海量文档&nbsp>&nbsp电子工程/通信技术&nbsp>&nbsp无线电电子学/电信技术基于Hessian矩阵的多元函数极值问题.pdf3页本文档一共被下载:次,您可全文免费在线阅读后下载本文档。 下载提示1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本...

weixin_34759094的博客 1210

Matlab—一元和多元函数极值问题

Matlab—一元和多元函数极值问题 代码求解 [x,fval,exitflag,output]=fminbnd('(x^3+cos(x)+x*log(x))/exp(x)',0,1) % fval输出目标函数的最小值; % exitflag输出终止迭代的条件; % output输出优化信息; 代码求解 X=fminsearch('2*x(1)^3+4*x(1)*x(2)^3-10*x(1)*x(2)+x(2)^2',[0,0]) 先定义函数:在MATLAB编辑器中建立M文件: M文件 X=fmin

墨子猫 2021

用遗传算法求解带约束的多元函数极值问题(Java实现)

用遗传算法求解带约束的多元函数极值问题(Java实现) 1.问题描述 针对如下问题,设计遗传算法进行求解: 2.Java源代码 GA.java package GA; import java.util.Random; class GA { public static final int varnum = 4;//变量的个数 public static final double[] low...

dai19981003的博客 3093

第六章 多元函数微分学

第一节 基本概念1.极限2.连续3.偏导数4.可全微第二节 多元函数基本理论有界闭区域上连续的多元函数的性质连续,可偏导,可微的关系求偏导的类型显函数求偏导复合函数求偏导隐函数存在定理及隐函数或隐函数组求偏导常见类型多元函数微分学的应用(代数应用)无条件极值二元函数极值的定义二元函数求无条件极值的步骤条件极值拉格朗日乘数法 第一节 基本概念 1.极限 就你找两个情况,如果这两个情况的极限不相等,那就说明极限不存在 2.连续 3.偏导数 你能保证左右光滑,上下光滑,但是你告诉我,一个二元函数向.

weixin_45564209的博客 6167
上一篇: 群同构符号的latex代码
下一篇: 抽象代数:a 上面有一根横线的含义
陌雨’
博客等级 码龄7年 1378粉丝 222原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值