吃瓜有感-机器学习西瓜书摘要2

学习周志华老师《机器学习》西瓜书摘要及笔记。

第3章 线性模型

没想到中学时所学的一元一次方程再次展示了它的威力。在此基础之上扩展的线性模型虽然形式简单，却蕴涵机器学习中的重要基本思想，并具有很好的可解释性。

线性回归：

线性回归试图学习

中的参数w与b的值，其表达了各个数据在预测中的重要性。基于均方误差最小化的最小二乘法成为此类模型求解的首选。多元线性回归与对数几率回归是此类问题的进一步扩展，其中对数几率回归是一种分类方法。

线性判别分析：

LDA通过类内散度矩阵与类间功度矩阵得到广义瑞利商，即为最大化目标。

多分类学习：

基于二分类学习器处理多分类问题，拆解策略：一对一，一对其余，多对多。

类别不平衡问题：

基本策略：再缩放。

具体做法：对反类“欠采样”，对 正类“过采样”，“阈值移动”。