Probabilistic Machine Learning：Introduction 概率机器学习：简介（2）-page38/858

最新推荐文章于 2024-09-14 07:10:05 发布

原创

最新推荐文章于 2024-09-14 07:10:05 发布 · 1.6k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #人工智能

本文介绍了从概率角度看待机器学习，重点讲解了监督学习，特别是分类问题，如鸢尾花分类。作者探讨了经验风险最小化、决策树模型、逻辑回归以及最大似然估计等概念，强调了在存在不确定性和随机性时如何处理预测的不确定性。

1 引言
1.1 什么是机器学习？
机器学习或ML的一个流行定义，由Tom Mitchell [Mit97]提出，如下所示：
如果一个计算机程序在某类任务T上通过经验E学到了性能度量P，那么就说它在任务T上从经验E中学到了东西，并且在任务T中的性能，由性能度量P来衡量，在经验E的影响下提高。
因此，有许多不同类型的机器学习，取决于我们希望系统学习的任务T的性质，我们用于评估系统的性能度量P的性质，以及我们给予它的训练信号或经验E的性质。

在本书中，我们将从概率的角度讨论最常见的ML类型。粗略地说，这意味着我们将所有未知数量（例如对某个感兴趣的未来值的预测，如明天的温度，或某个模型的参数）视为随机变量，并赋予它们描述可能值的加权集合的概率分布。（如果需要，可以参见第2章，以迅速复习概率的基础知识。）

我们采用概率方法的主要原因有两个。首先，这是在不确定性下进行决策的最佳方法，如我们在第5.1节中解释的那样。其次，概率建模是科学和工程大多数其他领域使用的语言，因此在这些领域之间提供了一个统一的框架。正如DeepMind的研究员Shakir Mohamed所说：1
几乎所有机器学习都可以用概率术语来看待，使概率思维成为基础。当然，这并不是唯一的观点。但正是通过这种观点，我们才能将我们在机器学习中所做的与每一种其他计算科学连接起来，无论是在随机优化，控制理论，运筹学，计量经济学，信息论，统计物理学还是生物统计学领域。

https://www.shakirm.com/slides/MLSS2018-Madrid-ProbThinking.pdf

1.2 监督学习
最常见的ML形式是监督学习。在这个问题中，任务T是学习从输入x ∈ X到输出y ∈ Y的映射f。输入x也被称为特征，协变量，或预测变量；通常是一个固定维度的数字向量，例如一个人的身高和体重，或者图像中的像素。在这种情况下，X = ℝ^D，其中D是向量的维度（即输入特征的数量）。输出y也被称为标签、目标或响应。

经验E以一组N个输入-输出对D = {(xn, yn)}^N_{n=1}的形式给出，被称为训练集（N被称为样本大小）。性能度量P取决于我们正在预测的输出类型，如下所述。

有时（例如，在statsmodels Python包中），x被称为外生变量（exogenous variables），而y被称为内生变量（endogenous variables）。

图1.1：三种鸢尾花：山鸢尾（Setosa）、变色鸢尾（Versicolor）和维吉尼亚鸢尾（Virginica）。获得了Dennis Kramb和SIGNA的友善许可。

表1.1：鸢尾花设计矩阵的子