手推收集整理

一.第三章——线性模型

1.最小二乘法（随机梯度下降法和牛顿法的比较）

2.为什么当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类

3.为什么作为分类算法的LDA可以视为降维手段，而且是有监督的，并且与PCA相提并论？
因为当LDA推广到多分类问题时，W的闭式解是 S_w^-1S_b 的 N-1 个最大广义特征值所对应的特征向量组成的矩阵。
若将W视为一个投影矩阵，则多分类LDA将样本投影到N-1维空间，N-1通常远小于数据原有的属性数。于是可通过这个投影来减小样本点的维数，且投影过程中使用了类别信息，因此LDA也常被视为一种经典的监督降维技术。

4.一对一分类器和一对多分类器在存储和训练方面的各自优劣；

5.样本不平衡问题衍生出的当前有的解决方案：【1】欠采样【2】过采样【3】阈值移动；【4】再缩放（就是基于样本比例的加权）

---

二.第七章——贝叶斯分类器

1.全概率公式、贝叶斯公式推导过程

2.拉普拉斯平滑（+1）

3.朴素贝叶斯分类器是贝叶斯分类器可以应用的关键改进（基于属性条件独立假设）

4.贝叶斯网络

---

三.第四章——决策树

1.决策树中的熵、条件熵、信息增益和Gini指数计算示例

2.决策树中缺失值的处理

---

四.第五章——神经网络

1.BP算法的推导

2.SOM网络理解

3.RBM、DBN、CD-K算法理解

4.CNN原理，参数计算

---

四.第八章——集成学习

1.Adaboost算法流程及示例

2.Boosting和Bagging要分清！

3.关联Blending等竞赛常用模型融合方法

4.偏差、方差的理解

---

五.第九章——聚类

1.鉴于Kmeans的热度，可以挖掘细一点（包括和SOM的关系）

2.高斯混合聚类（关联EM算法）

---

六.第十章——降维与度量学习

1.降维方法：PCA、KPCA、SVD、LDA、LLE

2.图嵌入思想来源（流形学习关联graph embedding）

---

六.第十一章——特征选择与稀疏学习

1.特征选择方法=特征子集搜索 + 子集评价机制

2.过滤式、包裹式、嵌入式、稀疏表示、压缩感知

3.L1和L2正则的充分理解

---

六.第十二章——计算学习理论

---

六.第十三章——半监督学习