机器学习精要

机器学习精要

01 导论

1. 机器学习主要工作就是从大量数据中提取模式与趋势。
2. 机器学习问题主要分为两类，有监督学习（根据输入变量预测输出变量）和无监督学习（根据输入变量分析相关关系和模式）。
3. 输出变量常见分类，定量数据（股票价格）和定类数据（机动车和非机动车）。输入变量（features），输出变量（outcomes）。
4. 预测模型也被称为learner。
5. 有监督学习和无监督学习区别，有监督学习中同时拥有输入变量和输出变量，而在无监督学习中只有输入变量，没有输出变量的数据。
6. 机器学习的几个例子：
   
   1. 有监督二分类问题，使用高频词汇和标点符号数据预测一份电子邮件是否是垃圾邮件。
   2. 有监督回归问题，使用临床指标数据集预测前列腺专门抗体含量值。
   3. 有监督多分类问题，使用输入数据为手写邮编的图片像素数据，预测手写正对的实际数字。
   4. 无监督聚类问题，对微阵列数据（行为不同基因，列为样本）的基因（行）做聚类分析。

02 有监督学习概述

2.1-2.2 术语与变量

1. 中英术语对照：输入变量（inputs，features，independent variables），输出变量（outputs，responses，dependent variables）。

   1. 变量分类：定类变量（categorical，如机动车与非机动车），定量变量（quantitative，如股票价格），定序变量（ordered，如大，中，小三类）。定序变量通常需要转换为数值数据，这个方法叫编码（coding），新生成的变量叫哑变量（dummy variables）。
2. 1. 数学表达式：输入变量$X$，定量输出变量$Y$，非定量变量$G$，观察样本使用小写如$x_i$，矩阵使用大写粗体如一个$N\times p$矩阵，$\textbf{X}$。变量$X_j$的所有观测值向量$\textbf{x}_j$。$\textbf{X}$的第$i$行向量$x_i^\top$。训练集记为$(x_i,y_i), \ \text{或者} (x_i,g_i),\ i=1:N$。
   2. 机器学习的基本任务就是通过输入变量$X$来预测输出变量$Y$，预测值记为$\hat{Y}$。

2.3 最小二乘法（有较多假设条件）和$k$近邻法（假设条件较少）。

2.3.1 线性模型与最小二乘

线性模型给定一个输入变量$X^\top=(X_1,X_2,\ldots,X_p)$，需要建立的线性模型为

$$\hat{Y}=\hat{\beta}_0+\sum_{j=1}^{p} X_j \hat{\beta}_j \tag{2.3.1},$$ 矩阵形式为$\hat{Y}=\hat{X}^\top\hat{\beta}$。参数推断部分主要就是估计模型 $$\mathbf{y}=\mathbf{X}\beta+ \epsilon,\ \tag{2.3.2.1}$$ 参数$\beta$，这里$\mathbf{y}$是$N\times 1$，$\mathbf{X}$是$N\times p$。参数$\beta$可以使用最小二乘法估计 $$RSS(\beta)=(\mathbf{y}-\mathbf{X}\beta)^T(\mathbf{y}-\mathbf{X}\beta)\tag{2.3.2.2},$$ 公式(2.3.2.2)对参数$\beta$求偏导得出 $$\mathbf{X}^T(\mathbf{y}-\mathbf{X}\beta)=0,$$ 此处如果$\mathbf{X}^T\mathbf{X}$可逆，那么有 $$\hat{\beta}=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y},$$ 把求出的$\hat{\beta}$代入(2.3.1)得到的新的预测模型为 $$\hat{y}_i=x_i^T\hat{\beta}.$$

2.3.2 $k$近邻方法

1. $k$近邻方法最终需要拟合一个模型为$\hat{Y}(x)=\frac{1}{k}\sum_{x_i\in N_k (x)}y_i$，其中$N_k (x)$是以$x$为中心的$k$个最近点组成的邻域。

   2.3.3 最小二乘法与$k$近邻法比较

   1. 最小二乘法拟合的线性模型假设条件多，方差低，偏差高。$k$近邻法假设条件少，方差高，偏差低。

      2.4 统计决策理论

      设$X\in \mathbb{R}^p​$为输入变量，$Y\in \mathbb{R}​$为输出变量，联合分布函数为$\text{Pr}(X,Y)​$，机器学习要做的事就是找到一个函数$f(X)​$用来根据输入变量$X​$预测输出变量$Y​$，此处损失函数设为$L(Y,f(X))=(Y-f(X))^2​$。使用EPE（expected prediction error）来优选模型，$\text{EPE}(f)=\text{E}[Y-f(X)]^2=\int[y-f(x)]^2\text{Pr}(dx,dy)=\int\int \{[y-f(x)]^2f(y|x)dy\}f(x)dx=\text{E}_X\text{E}_{Y|X}([Y-f(X)]^2|X)​$

      最后通过通过最小化$\text{EPE}(f)$求出${f}(x)=\text{argmin}_c\text{E}_{Y|X}([Y-c]^2|X=x)=\text{E}(Y|X=x)$，这表明在均方差Mean Squared Error的条件下，条件均值（conditional mean）就是最优预测。

      $k$近邻方法使用的就是这种思想有$\hat{f}(x)=\text{Avg}(y_i|x_i\in N_k (x))$, $\text{Avg}$表示均值。

      而线性回归做的事是使用一个线性组合函数来逼近$f(x)$，有$f(x)\approx x^T\beta$。这种方法称为model based aprroach，即用模型来描述回归问题。

      最小二乘与$k$近邻都是用于逼近条件均值的方法，最小二乘使用一个全局线性函数，而$k$近邻使用的是一个局部均值来逼近。

      对于输出变量为

      2.5 高维中的方法

      2.6 统计模型，有监督学习与函数逼近

      2.7 回归模型

      2.8 有约束估计量类别

      2.9 模型选择，偏差-方差权衡