矩阵杂记——最大最小特征值

证明：$$\frac{x^{T}Ax}{x^{T}x}\le {\lambda }_{max}(\frac{A+A^T}{2})$$
$\forall A\in {\mathbb{R}}^{n\times n}$，其中${\lambda }_{max}(\cdot )$表示矩阵的最大特征值。

原问题等价于:
$$\underset{||x|{|}_2=1}{\sup }{x}^{T}Ax\le {\lambda }_{max}(\frac{A+A^T}{2})$$
事实上取等号，即：
$$\begin{gathered} \underset{||x||=1}{\sup }{x}^{T}Ax \\ =\underset{||x||=1}{\sup }{x}^T(\frac{A+A^T}{2})x+x^T(\frac{A-A^T}{2})x \\ =\underset{||x||=1}{\sup }{x}^T(\frac{A+A^T}{2})x \\ ={\lambda }_{max}(\frac{A+A^T}{2}) \end{gathered}$$
证明也简单，考虑优化问题：
$$\begin{gathered} maximize{x}^{T}Sx \\ s.t.x^{T}x=1 \end{gathered}$$
其中 S 为对称阵，约束条件表示欧式长度为1。由于 S 对称，可对角化。
$$S=P^T\Lambda P$$
其中 $P$ 为单位正交阵，Λ=diag{λ1,λ2,...λn}\Lambda = diag\{\lambda_1,\lambda_2,...\lambda_n\}Λ=diag{λ1​,λ2​,...λn​}。
令 $y=Px$，则原问题等价于：
$$\begin{gathered} maximize{y}^T\Lambda y=\sum _{i=1}^n{\lambda }_i{y}_i^2 \\ s.t.y^{T}y=\sum _i{y}_i^2=1 \end{gathered}$$
显然，
∑i=1nλiyi2≤max{λi}∑iyi2=max{λi} \sum_{i=1}^n \lambda_iy_i^2 \leq max\{\lambda_i\}\sum_i y_i^2= max\{\lambda_i\} i=1∑n​λi​yi2​≤max{λi​}i∑​yi2​=max{λi​}
当且仅当 $|y_i|$ 在 ${\lambda }_i$ 最大的那个分量上等于1时取等号。

---

由上述证明可知：
$${\lambda }_{min}(\frac{A+A^T}{2})\le \frac{x^{T}Ax}{x^{T}x}\le {\lambda }_{max}(\frac{A+A^T}{2})$$
更准确地来说，$\forall A\in {\mathbb{R}}^{n\times n}$
$$\begin{gathered} \underset{x\ne 0}{\sup }\frac{x^{T}Ax}{x^{T}x}={\lambda }_{max}(\frac{A+A^T}{2}) \\ \underset{x\ne 0}{\inf }\frac{x^{T}Ax}{x^{T}x}={\lambda }_{min}(\frac{A+A^T}{2}) \end{gathered}$$
特别地，当A对称时，
$$\begin{gathered} \underset{x\ne 0}{\sup }\frac{x^{T}Ax}{x^{T}x}={\lambda }_{max}(A) \\ \underset{x\ne 0}{\inf }\frac{x^{T}Ax}{x^{T}x}={\lambda }_{min}(A) \end{gathered}$$