1、机器学习：概率视角的入门指南

机器学习：概率视角的入门指南

1. 机器学习概述

机器学习领域自 2012 年以来经历了巨大的变革。那一年，不仅出版了一本全面涵盖机器学习领域的 1200 页书籍，同时也被普遍认为是“深度学习革命”的开端。深度学习基于多层神经网络，虽然这项基础技术已存在多年，但在 2012 年，研究人员使用深度神经网络（DNNs）在 ImageNet 图像分类挑战中取得了巨大优势，吸引了广泛关注。与此同时，语音识别等其他难题也取得了相关进展。这些突破得益于硬件技术的进步（如将图形处理单元（GPUs）从视频游戏领域应用到机器学习）、数据收集技术的发展（如使用众包工具收集大型标注数据集）以及各种新的算法思想。

自 2012 年起，深度学习领域迅速发展，新进展不断涌现。为了总结这些进展，相关人员决定编写新书。经过一系列过程，最终产生了两本新书，它们尝试以概率建模和贝叶斯决策理论为统一视角，广泛覆盖机器学习领域。

2. 机器学习的定义

汤姆·米切尔对机器学习给出了一个流行的定义：如果一个计算机程序在任务 T 上的性能（由性能度量 P 衡量）随着经验 E 的增加而提高，那么就称该程序相对于任务 T 和性能度量 P 从经验 E 中学习。因此，根据任务 T、性能度量 P 和训练信号 E 的不同，机器学习有多种类型。

在本书中，将从概率视角来涵盖最常见的机器学习类型。大致来说，就是将所有未知量（如对未来感兴趣的量的预测或模型参数）视为随机变量，并赋予其概率分布。采用概率方法有两个主要原因：一是它是在不确定性下进行决策的最优方法；二是概率建模是大多数其他科学和工程领域使用的语言，为这些领域提供了统一的框架。

3. 监督学习

监