周志华 《机器学习》之 第三章（线性模型）概念总结

阅读之后，根据周志华老师对本章节的安排，首先从线性模型的基本形式入手，逐渐引入线性回归、对数几率回归、线性判别分析（LDA）、多分类学习等多种线性模型，最后针对类别不平衡问题总结了一些相关的解决思路
1）线性模型的基本形式
一般用向量形式写成

$$f(x) = w^Tx+b$$
线性模型形式简单、易于建模，却蕴涵着机器学习中的一些重要的基本思想。许多功能更为强大的线性模型（nonlinear model）可以在线性模型的基础上通过引入层级结构或者高维映射而得。
2）几种经典的线性模型（ 线性回归、对数几率回归、线性判别分析、多分类学习）

针对线性回归可以参阅如下文章：
http://blog.youkuaiyun.com/xiazdong/article/details/7950084 线性回归及梯度下降
http://blog.youkuaiyun.com/jzlxiaohei/article/details/8973410机器学习之线性回归

针对对数几率回归（逻辑回归）可参阅如下文章：
http://www.cnblogs.com/hustlx/p/5391772.html机器学习总结之逻辑回归Logistic Regression

线性判别分析 LDA
若将W视为一个投影矩阵，则多分类LDA将样本投影到N-1维空间，N-1通常远小于数据原有的属性数，于是，可通过这个投影来减小样本点的维数，且投影过程中使用了类别信息，因此LDA也常常被视为一种经典的监督降维技术。
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html 机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)
http://blog.youkuaiyun.com/wzmsltw/article/details/51037725 logistics回归 与 线性判别分析（LDA）

多分类学习
现实中常遇到多分类学习任务，有些二分类学习方法可以直接推广到多分类，但在更多情形下，我们是基于一些基本策略，利用二分类学习器来解决多分类问题。
最经典的拆分策略：“一对一 OvO” “一对多 OvR” “多对多 MvM”
ECOC（纠错输出码） 是一种最常用的MvM技术。它是将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性。

3）类别不平衡问题 就是指分类任务中不同类别的训练样例数目差别很大的情况