小树屋

（最后一章了，加油！）目录18.1 当ppp远大于NNN18.2 对角线性判别分析Diagonal Linear Discriminant Analysis和最近收缩重心Nearest Shrunken Centroids18.3 二次正则Quadratic Regularization的线性分类器18.3.1 正则化判别分析Regularized Discriminant Analysis18.3.2 二次正则的逻辑回归18.3.3 支持向量分类器18.3.4 特征选择18.3.5 当p≫Np\gg N

目录17.1 导言17.2 马尔可夫图及其性质17.3 连续变量的无向图模型17.1 导言P625 graphical lasso procedureP626 图模型的主要挑战是图结构选择、根据数据来估计边的参数，和从联合分布中计算边缘顶点的概率和期望．后两个任务在计算机科学中有时被称作学习learning和推断inference17.2 马尔可夫图及其性质P628 成对马尔可夫独立pairwise Markov independencies全局马尔可夫性global Markov pr

目录16.1 导言16.2 提升和正则路径16.2.1 带惩罚的回归Penalized Regression16.1 导言P605 集成学习ensemble learning的思想是通过结合一系列简单基础模型的优点来建立一个预测模型．包括：bagging、boosting、stacking、非参回归的贝叶斯方法。事实上，可以将任何字典方法dictionary method看成集成学习，其中基函数充当弱学习器weak learners，比如回归样条（这句是指把特征变换这个操作当作弱学习器，然后带权重地集

目录15.1 导言15.2 随机森林的定义15.3 随机森林的细节15.3.1 集外样本Out of Bag Samples15.3.2 变量重要性15.3.3 邻近图Proximity Plots15.1 导言P587 委员会committee，只关注票数，平均并不重要。用于分类P587 随机森林random forest是对bagging的修改，建立一个去相关性de-correlated树的集合。在许多问题上，与boosting表现相似，而且训练和调参更简单15.2 随机森林的定义P58

（ESL中最长的一章，也是非常重要的一块内容）目录14.1 导言14.2 关联规则14.1 导言P486 无监督学习中，直接推断P(X)P(X)P(X)的性质。XXX的维度有时比监督学习中高很多，我们关心的性质经常比简单的位置估计μ(x)\mu (x)μ(x)复杂得多．不过因素在某种程度上被缓解，原因在于我们不需要在其它变量的值改变的情况下推断P(X)P(X)P(X)的性质怎么改变．（这里应该是说YYY对XXX分布的影响P486 降维：主成分、多维缩放、自组织映射、主曲线等尝试识别具有高数据密度的

目录13.1 导言13.2 原型方法13.2.1 K均值聚类13.2.2 学习向量量化Learning Vector Quantization, LVQ13.2.3 高斯混合13.3 k近邻分类器13.3.1 例子：比较研究13.3.2 例子：k近邻和图像场景分类13.3.3 不变度量invariant metrics和正切距离tangent distance13.4 自适应最近邻分类器13.4.1 例子13.4.2 最近邻的全局降维13.5 计算考虑13.1 导言P459 本章介绍免模型方法mode

目录12.1 导言12.2 支持向量分类器12.2.1 计算支持向量分类器12.2.2 混合例子12.3 支持向量机和核12.3.1 用于分类的SVM12.3.2 SVM作为惩罚方法12.3.3 函数估计和再生核12.3.4 SVM和维度灾难12.1 导言P417 两类方法：SVM的非线性边界；LDA扩展成柔性判别分析flexible discriminant analysis。此外还有惩罚判别分析penalized discriminant analysis，用于处理含大量相关特征的信号和图像数据分

目录11.1 导言11.2 投影追踪回归Projection Pursuit Regression11.3 神经网络11.4 拟合神经网络11.5 训练神经网络中的一些问题11.5.1 初始值11.5.2 权重衰减11.5.3 输入的缩放11.5.4 隐层单元数和层数11.5.5 多极小值11.6 例子：模拟数据11.7 例子：邮编数字11.8 讨论11.9 贝叶斯神经网络和NIPS2003挑战11.9.1 贝叶斯、提升和bagging11.1 导言P389 投影追踪模型projection purs

目录10.1 Boosting方法10.2 Boosting拟合加性模型10.3 前向逐渐加性模型10.4 指数损失和AdaBoost10.5 为什么是指数损失10.6 损失函数和鲁棒性10.7 数据挖掘的现成（Off-the-Shelf）过程10.810.1 Boosting方法P337 Boosting和Bagging的联系是表面上的，boosting在根本上存在不同P339 AdaBoost.M1，也称为Discrete AdaBoost，如果基分类器返回实值预测，如映射到[-1, 1]的的概

目录9.1 广义加性模型9.1.1 拟合可加模型9.1.2 例子：加性逻辑回归9.1.3 总结9.2 基于树的方法9.2.1 背景9.2.2 回归树9.2.3 分类树9.2.4 其他问题9.1 广义加性模型P296 和第五章基的扩张不同的是，这里采用散点图光滑器scatterplot smoother（三次光滑样条、核光滑器等）进行，并提供同时估计所以ppp个函数的方法P296 链接函数link function，通过链接函数让条件均值和可加函数相关联。书上列举了一些链接函数P297 广义线性模型

目录8.2 自助法核最大似然方法8.2.1 平滑例子8.2 自助法核最大似然方法8.2.1 平滑例子P264 非参自助法nonparametric bootstrap，这个方法与模型无关，使用原始数据来得到新数据集，而不是一个特定含参数模型。参数自助法parametric bootstrap参考文献：[1] ESL CN...

目录7.2 偏差、方差和模型复杂度7.3 偏差-方差分解7.3.1 方差-偏差权衡7.2 偏差、方差和模型复杂度P220 测试误差test error就是泛化误差generalization error（也就是期望风险）；对其的训练集求期望，得到期望预测误差expected prediction error或称期望测试误差expected test errorP221 −2×log-likelihood-2\times \text{log-likelihood}−2×log-likelihood有时

目录6.0 导言6.1 一维核光滑器6.1.1 局部线性回归6.1.2 局部多项式回归6.2 选择核宽度6.3 Rp\mathbb R^pRp中的局部回归6.0 导言P192 本章的方法都是memory-based，很少或不需要训练。模型就是整个训练集（PRML中高斯过程似乎也是这样）P191 本章中的“核”大多作为局部化工具，其技巧不要与其他“核方法”相混淆6.1 一维核光滑器P192 Nearest-Neighbor核不连续，很容易的改进是Epanechnikov (quadratic)

目录5.1 导言5.2 分段多项式和样条5.2.1 自然三次样条Natural Cubic Splines5.2.2 例子：南非心脏病5.2.3 例子：音素识别附录 样条计算B样条光滑样条计算5.1 导言P140 高阶项其实是泰勒展开的高次项P140 三种方法控制模型复杂度：（这一块感觉和2.8节有关联）限制方法，限制函数类别，例如加性模型选择方法，选择基的字典中对拟合显著的基. 像 CART，MARS 和 boosting 这些逐步贪婪的方式也划为这一类．正则化方法，例如ridge re

目录4.2 指示矩阵(Indicator Matrix)线性回归4.2 指示矩阵(Indicator Matrix)线性回归P104 用回归做K分类，Y∈RN×K\bm Y \in \mathbb R^{N\times K}Y∈RN×K，其中每一行只有一个位置为1. 可以证明如果有偏置项，对任意输入xxx，这KKK个值求和为1，不过可能会出现负数...

目录3.2 线性回归模型的最小二乘法3.2 线性回归模型的最小二乘法P47 参数服从高斯分布，残差之和/噪声方差服从卡方分布P48 关于参数的t分布假设检验

（开始读ESL，写点笔记，不会像PRML那样抄书，只列不熟悉的内容，尤其是偏频率派的。具体的内容翻书）前言和第一章写了一些思想性的和导论性的东西，可以翻一翻目录2.3 Two Simple Approaches to Prediction: Least Squares and Nearest Neighbors2.3.3 Nearest-Neighbor Methods2.3 Two Simple Approaches to Prediction: Least Squares and Nearest