【笔记】《Python大战机器学习》

简书：
简单的记录，有写于《统计学习方法》中明确的基本知识没记

第1章 线性模型

1. 线性模型的形式：$f(\vec x)=\vec w \cdot \vec x +b$
2. $\vec w$表达了每个特征的权重，即特征重要性
3. 推广到n维空间即为广义线性模型，包括岭回归、lasso回归、Elastic Net、逻辑回归、线性判别分析等
4. 普通线性回归，平方损失函数，梯度下降法求解
5. 梯度下降法时要归一化，(1)提升模型收敛速度，归一化前狭长椭圆形，归一化后圆形，迭代更快。(2)提升模型精度，取值范围大的严重影响小的效果。
6. 广义线性模型，$h(y)=\vec w^T \vec x+b$，如对数线性回归，$\ln y=\vec w^T \vec x+b$
7. 逻辑回归(logistic regression, LR)，用于分类，用极大似然估计法估计，用梯度下降法或拟牛顿法求解
8. 线性判别分析(Linear Discriminant Analysis, LDA)。目标：投影到一条直线上，是的同类相近，异类远离。推广后为将M维投影到M-1维，可用于监督降维
9. 对模型参数添加先验假设，控制模型空间，减小复杂度
   (1)Ridge Regression: