算法--学习算法||机器学习--总论（持续更新）

机器学习（$MachineLearning$，$ML$）

  机器学习所研究的主要内容：关于在计算机上从数据中产生模型（$model$）或学习器（$learning$）的算法，即学习算法（$learning$ $algorithm$）。

一，基本术语

1.数据集（$data$ $set$）$D$

D = { x ⃗ 1 , x ⃗ 2 , … , x ⃗ m } D=\left\{\vec{x}_1,\vec{x}_2,…,\vec{x}_m\right\} D={ x 1​,x 2​,…,x m​}
  其中${\vec{x}}_i$为数据集$D$的第$i$个示例（$instance$）或样本（$sample$），是关于一个事件或对象的描述
$${\vec{x}}_i=（x_{i1};x_{i2};\dots ;x_{id}）$$
  其中$d$为样本${\vec{x}}_i$的维度（$dimensionality$），表示样本有$d$个属性（$attribute$）或特征（$feature$），其反映事件或对象在某方面的表现或性质的事项；$x_{ij}$是${\vec{x}}_i$在第$j$个属性上的属性值（$attribute$ $value$）
  属性值构成的空间为属性空间（$attribute$ $space$）或样本空间（$sample$ $space$）或输入空间$\chi$，可以认为${\vec{x}}_i$是d维样本空间$\chi$的特征向量（$feature$ $vector$），${\vec{x}}_i\in \chi$

2.标记（$label$）$y$

  拥有了标记信息的示例，称为样例（$example$）；$（{\vec{x}}_i，y_i）$表示第$i$个样例，其中$y_i$为示例${\vec{x}}_i$的标记；所有标记的集合为标记空间（$label$ $space$）或输出空间$\gamma$，$y_i\in \gamma$

若将标记看作对象本身的一部分，则“样例”有时也称为“样本”

3.训练（$training$）

• 训练：从数据中学得模型的过程
• 训练示例（$train$ $instance$）或训练样本（$train$ $sample$）
  $${\vec{x}}_i或（{\vec{x}}_i，y_i）$$
• 训练(数据)集（$train$ $set$）：用于训练模型的数据集
  { x ⃗ 1 , x ⃗ 2 , … , x ⃗ m } \left\{\vec{x}_1,\vec{x}_2,…,\vec{x}_m\right\} { x 1​,x 2​,…,x m​}
  或 { ( x ⃗ 1 , y 1 ) , ( x ⃗ 2 , y 2 ) , … , ( x ⃗ m , y m ) } \left\{(\vec{x}_1,y_1),(\vec{x}_2,y_2),…,(\vec{x}_m,y_m)\right\} { (x 1​,y1​),(x 2​,y2​),…,(x m​,ym​)}

4.监督学习（$supervised$ $learning$）

  监督学习是处理拥有标记信息的训练数据的学习任务。
  预测（$prediction$）任务是希望通过对这种训练集进行学习，建立一个从输入空间$\chi$到输出空间$\gamma$的映射$f$：$\chi \mapsto \gamma$

• 学习任务——分类（$classification$）：预测离散值
    只有两个标记类别的学习任务为二分类（$binary$ $classification$），其中一个类为正类（$positive$ $class$），另一个类为反类或负类（$negative$ $class$）；常令 γ = { − 1 , + 1 } \gamma=\left\{ -1,+1\right\} γ={ −1,+1}或 { 0 , 1 } \left\{ 0,1\right\} { 0,1}
    有多个标记类别的学习任务为多分类（$multi$-$class$ $classification$），常令$|\gamma |>2$
• 学习任务——回归（$regression$）：预测连续值
    对于回归问题，常令$\gamma =R$，$R$为常数集

  学得模型后，使用其进行预测的过程为测试（$testing$），被预测的样本为测试示例（$testing$ $instance$）或测试样本（$testing$ $sample$）；即对于测试示例$\vec{x}$，对于预测映射$f$，可得到其预测标记$y=f(\vec{x})$

5.无监督学习（$unsupervised$ $learning$）

  无监督学习是处理没有标记信息的训练数据的学习任务。

• 学习任务——聚类（$clustering$）：
    将训练集中的样本分成若干组，每组称为一个簇（$cluster$），这些自动形成的簇可能对应一些潜在的概念划分；但这些概念事先是不知道的。
• 学习任务——降维

6.归纳学习（$inductive$ $learning$）

  学得模型适用于新样本的能力，称为泛化（$generalization$）能力；具有强泛化能力的模型能很好地适用于整个样本空间。
  归纳学习就是从样例中学习，是从特殊到一般的泛化过程，涵盖了监督学习，无监督学习等，也是学习算法的主要讨论对象。

“没有免费的午餐”定理（No Free Lunch Theorem，NFL定理）
  脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所有学习算法都一样好，期望性能相同。要谈论算法的相对优劣，必须要针对具体的学习问题；在某些问题上表现好的学习算法，在另些问题上却可能不尽如人意，学习算法自身的归纳偏好与问题是否相配，往往会起到决定性的作用

 

二，模型评估和选择

（一）概念

• 误差（$error$）（误差期望）：学习器的实际预测输出与样本的真实输出之间的差异
• 训练误差（$training$ $error$）或经验误差（$empirical$ $error$）：学习器在训练集上的误差
• 泛化误差（$generalization$ $error$）：学习器在新样本上的误差
• 欠拟合（$underfitting$）：模型过于简单，未能很好地捕捉数据的复杂性，导致在训练数据和新数据上表现都不佳
• 过拟合（$overfitting$）：模型过于复杂，过度拟合了训练数据，导致在新数据上表现不佳
• 模型选择（$model$ $selection$）：从多个可用的模型中选择最合适的模型，以获得最佳的性能和泛化能力

（二）评估方法

• 测试集（$testing$ $set$）：用于最终评估模型性能的数据集，测试学习器对新样本的判别能力
• 测试误差（$testing$ $error$）：测试集评估模型预测性能时所得到的模型预测与真实标签之间的差异或错误程度，期望作为泛化误差的近似

1.留出法（$hold$-$out$）

  数据集$D$划分为两个互斥的集合，即训练集$S$和测试集$T$，$D=S\cup T$，$S\cap T=\varnothing$；在S上训练模型，用T评估其测试误差，作为对泛化误差的估计；在使用留出法时，一般要采用若干次随机划分，重复进行实验评估后取平均值作为留出法的评估结果。
  训练集$S$和测试集$T$的占比都不易过大或过小，否则会降低评估结果的保真性（$fidelity$）；常见做法是将大约$\frac{2}{3}\sim \frac{4}{5}$的样本用于训练，剩余样本用于测试。

• 采样（$sampling$）：从一个总体或总体中的子集中选择出一部分观察样本
• 分层采样（$stratified$ $sample$）：将总体划分为若干层，并从每一层中独立地进行采样，以保证样本更好地代表总体的不同层次特征
• 保真性（fidelity）：提供准确、可靠、真实反映原始数据或系统性能的能力

2.交叉验证法（cross validation）（$k$折交叉验证法，$k$-$fold$ $cross$ $validation$）

  数据集$D$划分为$k$个大小相似的互斥子集，即
$$D=D_1\cup D_2\cup \dots \cup D_k$$$$D_i\cap D_j=\varnothing （i\ne j）$$
  每个子集$D_i$都尽可能保持数据分布的一致性，即从$D$中通过分层采样得到。然后每次用$k-1$个子集的并集作为训练集，另一个子集作为测试集；这样就可获得$k$组训练/测试集，从而可进行$k$次训练和测试，最终返回的是这$k$个测试结果的均值
  将数据集$D$划分为$k$个子集同样存在多种划分方式，为减少因样本划分不同而引入的差别，$k$折交叉验证通常要随机使用不同的划分重复$p$次，最终的评估结果是这$p$次$k$折交叉验证结果的均值

$k$最常用的取值是10，其他常用值有5，20

3.留一法（$leave$-$one$-$out$，