L1-Introduction to Machine Learning

书：KP Murphy (2012). Machine learning: a probabilistic perspective. MIT Press. (Chapter 1)

Outline

1. Definitions of Machine Learning
2. Types of Machine Learning

---

1. Definitions of Machine Learning

• 由人设置性能评价的标准，由机器根据已有的数据自动进行性能提高
• 机器通过已有的数据中自主地发现潜在的模式，并用学习到的模式进行决策

---

2.Types of Machine learning

2.1 Supervised Learning

已有的数据中已经标记了样本属于哪一类，机器学习的目标是找到样本的特征和样本的标记之间的关系。

样本的特征xi：特征向量，或图片、文档
样本的分类yi：categorical/ nominal variable（分类问题）或者 real-valued variable（回归问题）

2.1.1 Classification

比如：已有一个人的年龄、性别、出生地，预测他的身高是具体多少厘米属于回归问题，预测他的身高属于正常/不正常，高/中/矮是分类问题。分类问题，按照可分的类别，分为二分类问题和多分类问题。

• Generalization
  假设存在未知的函数使得 y = f(x)，目标是从标记的训练集数据中找出一个estimate f^，使之与未知的函数f的差异越小越好，然后用这个估计的函数对未见过的样本做预测。预测的准确率表示该学习模型的泛化能力。

• Use probabilistic in classification
  从输入的样本和标记，学习条件概率分布p(y|x)，有p(y=类别1|x), p(y=类别2|x)…哪个概率大，就认为属于哪一类
  

右边arg max p(y|x)意思是当p(y|x)取最大值时C的值赋给y^
如果最大的p(y|x)不够高时，可以等待获取更多信息后再做决策。

2.2.2 Regression

与classification问题不同，Regression中的y是连续的。

• 模型
  1. Linear and polynomial regression: for regression
  2. Logistic and softmax regression: for classification
  3. Gaussian discriminant analysis : for classification
  4. Feedforward neural networks: for classification and regression
  5. Concolutional neural networks: for classification
  6. Recurrent neural networks: for sequence data modeling

---

2.2 Unsupervised Learning

与监督学习不同的是，样本没有标记已有的分类。
无监督学习的目标是：发现、建模和利用“interesting structures/patterns” in the data

• 高维度样本、需要做数据可视化时需要dimensionality reduction
• 把样本分组需要Clustering analysis
• 根据相似的样本生成数据-Data Synthesis-VAE,GAN

2.2.1 Probabilistic Unsupervised Learning

latent variable: 通过某种方法从输入的n维特征向量得到m维特征向量，m<n，m维特征向量就是latent variable. 比如文档-词项矩阵，通过奇异值分解，可以得到潜在语义空间，把n个词项划分出m个语义。

• 模型

1. Finite mixture models: z is one discrete latent variable, used for clustering
2. VAE and GAN: z is a real-valued vector

---

2.3 Reinforcement Learning

通过occasional reward or punishment使得agent学会如何行动
learn optimal policy

相关应用：Atri games, AlphaGo, Starcraft

---

2.4 Deep Learning

Neural Network必不可少，从low-level data（图片，视频）中学习特征
减少人的筛选特征的工作
用神经网络帮人选出特征，是监督学习，无监督学习，增强学习等方法中的关键步骤

---

2.5 其他机器学习算法

• Semi-supervised learning
• Active learning
• Ensemble learning
• Transfer learning
• Zero-shot, one-shot, few-shot learning
• …

---

本学期知识框架：

• Supervised Learning
  1. Linear and Polynomial Regression
  2. Logistic and Softmax Regression
  3. Generative Models for Classification
  4. Learning Theory
• Deep Learning
  1. Deep Feedforward Networks
  2. Convolutional Neural Networks
  3. Recurrent Neural Networks
• Unsupervised Learning
  1. Variational Autoencoders
  2. Generative Adversarial Networks
  3. Mixture Models
• Reinforcement Learning
  1. Basic RL
  2. Value-Based Deep RL, Policy-Based Deep RL