【机器学习】笔记2：Types of Learning

Reference

统计学习方法 李航
机器学习技法课–台湾大学 林轩田
机器学习–周志华

简书-台湾大学林轩田机器学习基石课程

1. Learning with Different Outspace

《统计学习方法》第一章 1.7-1.10也是按照 “输出空间的不同” 这个逻辑来介绍不同的监督学习问题的。

1.1 Classification

用分类器对输入数据进行类别预测。
输入变量可以是离散的，也可以是连续的；输出变量的取值有限，离散。

分类问题中，根据分类的类别个数不同，分为二分类和多分类问题。

• binary classification: {$-1,+1$ }
• multiclass classification: { $1,2,3,...,K$ }

常见的分类问题的统计学习方法：
k邻近法；朴素贝叶斯法；决策树；感知机，逻辑斯蒂回归，支持向量机，神经网络等；提升方法。
 

1.2 Regression

预测输入变量和输出变量之间的关系。
输入变量可以是离散的，也可以是连续的；输出变量的取值范围为整个实数空间。

回归问题中，按照输入变量的个数，分为一元回归和多元回归；按照输入变量和输出变量之间关系的类型，分为线性回归和非线性回归。

常见的回归问题的相关学习方法：
局部加权回归，岭回归，Lasso回归；逻辑斯蒂回归；CART回归树。

 

1.3 Structured Learning

对观测序列给出标记序列作为预测。
输入观测序列，输出标记序列或状态序列。

常见的统计学习方法：
隐马尔科夫模型，条件随机场。
 

1.4 … and more types!

 
 

2. Learning with Different Input Space

• 2.1 Concrete Features

输入的样本特征定义具体，往往有实际意义，容易理解。
比如，用户的年龄。

• 2.2 Raw Features

输入的样本特征一般比较抽象，需要经过人工或者机器转换为相应的 concrete features，这个转换的过程就是特征转换。
比如，用户头像的像素。

• 2.3 Abstract Features

输入的样本特征十分抽象，没有实际上的物理意义，需要对此类特征进行特征转换或提取。
比如，用户的ID。

• 2.4 …and more types!

 
 

3. Learning with Different Data Label

• 3.1 Supervised

所有的输出都带有标签。

常见的监督学习：分类问题，回归问题，标注问题等。

• 3.2 Unsupervised

所有的输出都没有标签。
常见的无监督学习：聚类，k-means，EM算法；降维，PCA。

• 3.3 Semi-supervised

部分输出带有标签。

• 3.4 Reinforcement

标签的含义并不明确，根据环境给出的反馈来判断学习的优劣（通过将奖惩机制），最终获得环境和最优动作的映射关系。

• 3.5 … and more types!

 
 

4. Learning with Different Protocol

• 4.1 Batch Learning

一次性拿到所有数据，在实际应用最为广泛。

• 4.2 Online Learning

数据实时动态更新，带有时序性，根据不断增加的样本来更新模型。

• 4.3 Active Learning

机器具备主动问问题的能力。

• 4.4 …and more types!

 
 

Map of Learning Types via SK-learn