1、机器学习：从概率视角出发的全面解读

机器学习：从概率视角出发的全面解读

1. 机器学习概述

机器学习（ML）是一个广泛的领域，根据Tom Mitchell的定义，一个计算机程序如果能通过经验E，在任务T上的表现（由性能指标P衡量）得到提升，那么就可以说它在学习。机器学习的类型多种多样，这取决于我们希望系统学习的任务T的性质、用于评估系统的性能指标P的性质，以及给予系统的训练信号或经验E的性质。

在众多机器学习方法中，我们将从概率视角来探讨最常见的类型。简单来说，就是把所有未知量（如对未来某一感兴趣量的预测，或某个模型的参数）视为随机变量，并赋予它们描述可能取值的概率分布。采用概率方法主要有两个原因：一是它是在不确定性下进行决策的最优方法；二是概率建模是大多数科学和工程领域使用的语言，能为这些领域提供统一的框架。正如DeepMind的研究员Shakir Mohamed所说：“几乎所有的机器学习都可以从概率角度来看待，因此概率思维至关重要。”

2. 监督学习：机器学习的常见形式

监督学习是机器学习中最常见的形式。在监督学习问题中，任务T是学习一个从输入x（属于集合X）到输出y（属于集合Y）的映射f。输入x也被称为特征、协变量或预测因子，通常是一个固定维度的数字向量，比如人的身高和体重，或者图像中的像素。在这种情况下，X = RD，其中D是向量的维度（即输入特征的数量）。输出y也被称为标签、目标或响应。经验E以一组N个输入 - 输出对D = {(xn, yn)}N n=1的形式给出，这被称为训练集，N被称为样本大小。性能指标P取决于我们要预测的输出类型。

2.1 分类问题

在分类问题中，输出空间是一组C个无序且相互排斥的标签，称为类别，Y = {1, 2, …, C}。