矩阵分析与应用（二）————梯度分析与最优化

一、梯度

1.实值函数对实向量的梯度

• 梯度算子：
  
• 梯度：
  
• 矩阵求导计算公式
  
  
  
  

2. 矩阵微分

• Jacobian矩阵
  
• 向量函数的梯度
  
• 矩阵微分常用法则
  
  
• 两个向量内积和二次型梯度
  
  

二、梯度算法

1. 共轭梯度法

• 问题描述：
  考察线性方程组
  $$Ax=b$$
  要求A为对称正定矩阵
  求解线性方程组即求解目标函数 J ( x )