机器学习基础模型原理总结

模型

• 线性回归
• LR
• 决策树
• SVM
• 朴素贝叶斯分类器
• KNN

——————————————————————————————————————————————————

线性回归

说明：

$${\bf{w}}=(w_{1};w_{2};\ldots;w_{d}),$$

$${\bf{x}}=(x_{1};x_{2};\ldots;x_{d}),$$

$${\bf{W}}=({\bf{w}};b),$$

$${\bf{X}}= \begin{pmatrix} {\bf{x_{1}^{T}}}&1\\ {\bf{x_{2}^{T}}}&1\\ \vdots&\vdots\\ {\bf{x_{m}^{T}}}&1 \end{pmatrix},$$

$${\bf{y}}=(y_{1};y_{2};\ldots;y_{m}).$$

模型表达式：

$$f\bf{(X[i])=X[i]^{T}W}.$$

损失函数：

$$f\bf{(W)=(y-XW)^{T}}(y-XW).$$

模型求解方法：
最小二乘法——基于均方误差最小化来进行模型的求解。
方法使用详解：
$\Rightarrow\bf{\frac{\partial f(\bf{W})}{\partial \bf{W}}=2X^{T}(XW-y)}$
$\Rightarrow\bf{2X^{T}(XW-y)}=0$
$\bf{X^{T}X}$为满秩矩阵或正定矩阵时
$\Rightarrow \bf{W=(X^{T}X)^{-1}X^{T}y}$
$\Rightarrow f\bf{(X[i])=X[i]^{T}(X^{T}X)^{-1}X^{T}y}$
$\bf{X^{T}X}$非满秩矩阵或正定矩阵时，引入正则化
——————————————————————————————————————————————————

LR

说明：

$${\bf{w}}=(w_{1};w_{2};\ldots;w_{d}),$$

$${\bf{x}}=(x_{1};x_{2};\ldots;x_{d}),$$

$$p(y=1|{\bf{x}})=f({\bf{x}}),$$

$$p(y=0|{\bf{x}})=1-f({\bf{x}}),$$

$$\beta=({\bf{w}};b),$$

$${\bf{X}}=({\bf{x}};1),$$

$$p(y_{i}|{\bf{X}}_{i};\beta)=y_{i}p(y=1|{\bf{X}}_{i};\beta)+ (1-y_{i})p(y=0|{\bf{X}}_{i};\beta).$$

模型表达式：

$$f({\bf{x}})=\frac{1}{1+e^{-({\bf{w}^{T}x}+b)}}$$
损失函数：