机器学习八股

梯度下降

https://zhuanlan.zhihu.com/p/137713040

• 梯度下降更新公式：${\theta }_{k+1}={\theta }_k-\alpha \cdot g$
  • 其中$\alpha$表示步长，$g$表示梯度
  • 减号表示朝着负梯度方向，所以是梯度下降

对于非凸问题，可能会陷入局部最优，解决方案之一为，多取几个随机初始点；对于凸问题，由于一定存在全局最小，则不存在该问题

---

逻辑回归

https://zhuanlan.zhihu.com/p/139122386
https://cloud.tencent.com/developer/article/1694338

（1）逻辑回归表达式

逻辑回归实际上就是添加了sigmoid的线性回归
$$f(y)=\frac{1}{1+e^{-y}}$$

$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n={\theta }^{T}x$$

所以逻辑回归的表达式为：
$$g(y)=\frac{1}{1+e^{-y}}=\frac{e^y}{1+e^y}$$
其中$y={\beta }_0+{\beta }_1{x}_1\dots \dots +{\beta }_p{x}_p$

求导可得：
$$g^{\prime }(y)=\frac{e^y(1+e^y)-e^y\ast e^y}{(1+e^y{)}^2}=g^{\prime }(y)=\frac{e^y}{(1+e^y{)}^2}$$

进一步化简得：
$$g^{\prime }(y)=\frac{e^y}{(1+e^y)}\ast \frac{1}{(1+e^y)}$$

$$g^{\prime }(y)=\frac{e^y}{(1+e^y)}\ast \left[1-\frac{e^y}{(1+e^y)}\right]$$

$$g^{\prime }(y)=g(y{)}^{\ast }\left[1-g(y)\right]$$

转换一下逻辑回归函数
$$g(y)=\frac{1}{1+e^{-y}}\Rightarrow g(y)\ast (1+e^{-y})=1$$

$$\Rightarrow e^{-y}=\frac{1}{g(y)}-1\Rightarrow -y=\ln (\frac{1-g(y)}{g(y)})$$
g
$$\Rightarrow y=\ln (\frac{g(y)}{1-g(y)})$$

---

（2）似然函数

• 概率：某个事件发生的可能性
• 似然性（likehood）：一个事件实际已经发生了，反推在什么参数条件下，这个事件发生的概率最大

数学表达形式为：

• 概率：已知参数 β 前提下，事件x发生的条件概率 $P(x|\beta )$
• 似然性：已知某个已发生的事件 x，未知参数 β 的似然函数为 $L(\beta |x)$
• 上面两个值相等，即: $P(x|\beta )$ = $L(\beta |x)$

最优的$\beta$，就是让当前观察到的数据 X 出现的可能性最大的$\beta$

将逻辑回归输出的值视为概率，则预测为正类的概率：
$$P(Y=1|x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

相应的，预测负类的概率为：
$$P(Y=0|x)=1-p(Y=1|x)=1-\frac{1}{1+e^{-{\theta }^{T}x}}=\frac{1}{1+e^{{\theta }^{T}x}}$$

令
$$g_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
可得
$$P(Y=1|x)=g_{\theta }(x)$$

$$p(Y=0|x)=1-g_{\theta }(x)$$

所以对于某一个样本发生的概率可以表示为：
$$p(y|x,\theta )=(g_{\theta }(x){)}^y(1-g_{\theta }(x){)}^{1-y}$$

y = 1 时，=$g_{\theta }(x)$
y = 0 时，=$1-g_{\theta }(x)$

对于一批样本，同时发生的概率为（即为似然函数）

$$L(\theta )=\prod _{i=1}^{m}p(y_i|x_i;\theta )=\prod _{i=1}^m(g_{\theta }(x_i){)}^{y_i}(1-g_{\theta }(x_i){)}^{1-y_i}$$

其中，$\theta$ 就是我们要求的参数，最优参数为让上述概率最大的值

---

（3）求解似然函数

化简上一步得到的似然函数，将连乘改为连加
$$l(\theta )=\ln (L(\theta ))=\sum _{i=1}^m\ln (p(y_i|x_i;\theta ))$$

$$=\sum _{i=1}^m(y_i\ln (g_{\theta }(x_i))+(1-y_i)\ln (1-g_{\theta }(x_i)))$$

然后就可以用梯度上升，求得使似然函数最大的 $\theta$

---

定义，平均对数似然损失：
$$J(\theta )=-\frac{1}{m}\ln (L(\theta ))$$

最大化似然 等价于 最小化损失
$$\max \ln (L(\theta ))\iff \min J(\theta )$$

---

于是将问题转换为，梯度下降，求最小化损失的$\theta$

根据 ${\theta }_{k+1}={\theta }_k-\alpha \cdot 梯度$，更新参数即可

$$\begin{array}{c}J(\theta )=-\frac{1}{m}\ln (L(\theta ))=-\frac{1}{m}I(\theta )\\ J(\theta )=-\frac{1}{m}{\sum }_{i=1}^m(y_i\ln (g_i(x_i))+(1-y_j)\ln (1-g_i(x_i)))\end{array}$$

对损失函数求导：
$$\frac{\delta J(\theta )}{\delta \theta j}=-\frac{1}{m}\sum _{i=1}^m\left[y_i\ast \frac{1}{g_{\theta }(x_i)}\ast \frac{\delta g_{\theta }(x_i)}{\delta \theta j}-(1-y_i)\ast \frac{1}{1-g_{\theta }(x_i)}\ast \frac{\delta g_{\theta }(x_i)}{\delta \theta j}\right]$$

$$\frac{\delta J(\theta )}{\delta \theta j}=-\frac{1}{m}\sum _{i=1}^m\left[y_i\ast \frac{1}{g_{\theta }(x_i)}-(1-y_i{)}^{\ast }\frac{1}{1-g_{\theta }(x_i)}\right]\ast \frac{\delta g_{\theta }(x_i)}{\delta \theta j}$$

$$\frac{\delta J(\theta )}{\delta \theta j}=-\frac{1}{m}\sum _{i=1}^m\left[y_i\ast \frac{1}{g({\theta }^T{x}_i)}-(1-y_i)\ast \frac{1}{1-g({\theta }^T{x}_i)}\right]\ast \frac{\delta g({\theta }^T{x}_i)}{\delta \theta j}$$

$$\frac{\delta J(\theta )}{\delta \theta j}=-\frac{1}{m}\sum _{i=1}^m{\left[y_i\ast \frac{1}{g({\theta }^T{x}_i)}-(1-y_i{)}^{\ast }\frac{1}{1-g({\theta }^T{x}_i)}\right]}^{\ast }g({\theta }^T{x}_i{)}^{\ast }{\left[1-g({\theta }^T{x}_i)\right]}^{\ast }\frac{\delta {\theta }^T{x}_i}{\delta \theta j}$$

$$\frac{\delta J(\theta )}{\delta \theta j}=-\frac{1}{m}\sum _{i=1}^m{\left[y_i^{\ast }(1-g({\theta }^T{x}_i))-(1-y_i{)}^{\ast }g({\theta }^T{x}_i)\right]}^{\ast }{x}_i^j$$

$$\frac{\delta J(\theta )}{\delta \theta j}=-\frac{1}{m}\sum _{i=1}^m{\left[y_i-g({\theta }^T{x}_i)\right]}^{\ast }{x}_i^j$$

$$\frac{\delta J(\theta )}{\delta \theta j}=\frac{1}{m}\sum _{i=1}^m{\left[g({\theta }^T{x}_i)-y_i\right]}^{\ast }{x}_i^j$$