【Datawhale-机器学习-Task02-线性回归】

   前言
   Datawhale开源学习：机器学习，202406
   西瓜书+南瓜书 第三章 线性回归

先上个图简单总结下基本流程。

极大似然估计：
概率：是已知模型的概率，去推测执行后的结果。
似然：就是通过事实（数据），来推断出函数参数最有可能的值。
举例，根据服从正态分布的$X\sim N\left(\mu ,{\sigma }^2\right)$的一批观测样本，随机变量X的概率密度函数为：
$p\left(x;\mu ,{\sigma }^2\right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$
得到似然函数：$L\left(\mu ,{\sigma }^2\right)={\prod }_{i=1}^{n}p\left(x_i;\mu ,{\sigma }^2\right)={\prod }_{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(x_i-\mu \right)}^2}{2{\sigma }^2}\right)$
极大似然：求解$\mu$ 、${\sigma }^2$，使得 $L\left(\mu ,{\sigma }^2\right)$最大。

定义1：
   凸函数，设$D\subset R^n$ 是非空凸集，f是定义在D上的函数，如果对任意的，$x^1$、$x^2$∈D以及α∈(0,1)，均有
$$f（\alpha x^1+\left(1-\alpha \right)x^2）\le \alpha f\left(x^1\right)+\left(1-\alpha \right)f\left(x^2\right)$$
则称f为D上的凸函数。

定理1：如果f(x)的Hessian矩阵${▽}^{2}f\left(x\right)$在D上是半正定的，则f(x)是D上的凸函数；如果∇^2 f(x)在D上是正定的，则f(x)是D上的严格凸函数。

定理2：若f(x)是凸函数，且f(x)一阶连续可微，则$x^{\ast }$是全局解的充分必要条件是其梯度等于零向量，即$▽f\left(x^{\ast }\right)=0$。

定义2：梯度，多元一次函数在各分量x_i处偏导数均存在，则称函数f(x)在x处一阶可导，其梯度函数（一阶函数）为
$$▽f\left(x\right)=\frac{\partial f\left(x\right)}{\partial x}=\left[\begin{array}{c}\frac{\partial f\left(x\right)}{\partial x_1}\\ \frac{\partial f\left(x\right)}{\partial x_2}\\ ⋮\\ \frac{\partial f\left(x\right)}{\partial x_n}\end{array}\right]$$

另外，Hessian矩阵就是f(x)二阶求导；
顺序主子式：
$$H_i=|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ \dots & \dots & \dots & \dots \\ a_{n1}& a_{n2}& \dots & a_{21}\end{array}$$