计算机视觉基础. 1 学习导论

1 .引言

学习的目的是从过去的经验中吸取教训，以解决未来的问题。通常，这涉及搜索解决问题过去实例的算法。然后，该算法可以应用于该问题的未来实例。

过去和未来不一定指日历日期；相反，它们指的是学习者之前看到的内容以及学习者接下来将看到的内容。

因为学习本身就是一种算法，所以它可以被理解为一种元-算法：一种输出算法的算法（图9.1）。

学习通常由两个阶段组成：训练阶段，我们搜索一个在过去的问题实例（训练数据）上表现良好的算法；测试阶段，我们部署学习到的算法来解决问题的新实例。

2. 有样本学习

从样本中学习也称为监督学习。

想象一下，你发现了一本古老的数学课本，上面有看起来很神奇的证明，但有一个你不认识的符号，“⋆”。你可以看到它在方程式中到处使用，并记下它的行为示例：

你认为⋆代表什么？它在计算什么功能？你有吗？让我们测试一下你的答案：3⋆5的值是多少？（答案如下图所示。）这可能看起来不像，但你刚刚完成了学习！你通过看例子学到了⋆的作用。事实上，图9.2显示了您所做的工作：

事实证明，我们几乎可以从例子中学到任何东西。记住，我们正在学习一种算法，即从输入到输出的可计算映射。在这种情况下，示例的正式定义是{输入，输出}对。你给出的⋆示例由四对这样的配对组成：

这种学习，即观察示例输入输出行为并推断出解释这种行为的函数映射，称为监督学习。
这种学习的另一个名称是将模型与数据相匹配。
根据我们给出的例子，我们能够用一个简单的代数方程来模拟⋆的行为。让我们试试更复杂的东西。从图9.3中的三个例子中，你能找出运算符F的作用吗？

你可能会想到“它填补了缺失的像素”这样的东西。这完全正确，但它掩盖了很多细节。记住，我们想学习一种算法，一种完全明确的过程。F究竟如何填充缺失的像素？
这很难说出口。我们可能需要一个非常复杂的算法来指定答案，一个如此复杂的算法，以至于我们永远不可能用手写出来。这就是机器学习的意义所在。机器为我们编写算法，但只有当我们给它很多例子，而不仅仅是这三个例子时，它才能这样做。

有些东西是无法从例子中学习的，比如不可计算的函数。不可计算函数的一个例子是一个函数，它接受一个程序作为输入，如果程序最终将完成运行，则输出1，如果它将永远运行，则输入0。它是不可计算的，因为没有算法可以在有限的时间内解决这个问题。然而，有可能学习到一个很好的近似值。

3. 无样本学习

即使没有样本，我们仍然可以学习。我们可以尝试提出一种算法，优化输入输出映射的理想属性，而不是匹配输入输出示例。这类学习包括无监督学习和强化学习。
在无监督学习中，我们得到了输入数据的示例，但没有被告知目标输出。因此，学习者必须提出一个具有有用属性的输入数据的模型或表示，如某些目标函数所衡量的。例如，目标可能是将数据压缩为低维格式，仍然保留有关输入的所有信息。我们将在本书关于表征学习和生成建模中遇到这种学习。
在强化学习中，我们假设我们得到一个奖励函数，该函数明确地衡量学习函数输出的质量。确切地说，奖励函数是从输出到分数的映射：r:Y→ℝ。这个函数试图提出一个最大化奖励的函数。本书不会详细介绍强化学习，但这种学习正在成为计算机视觉的重要组成部分，特别是在机器人视觉的背景下。

乍一看，无监督学习和强化学习看起来很相似：两者都最大化了一个函数，该函数对输入-输出映射的理想属性进行评分。最大的区别在于，无监督学习可以访问训练数据，而强化学习通常不能；相反，强化学习者必须收集自己的训练数据。

4. 关键成分

学习算法由三个关键成分组成：

1. 目标：对于学习者来说，成功或至少表现良好意味着什么？
2. 假设空间：我们将搜索的从输入到输出的可能映射集是什么？
3. 优化器：我们究竟如何在假设空间中搜索特定的映射，以最大化目标？

当这三种成分应用于大量数据，并在足够的硬件（称为计算）上运行时，可以做出惊人的事情。
本章我们将重点介绍学习算法，但数据和计算往往更重要。

学习器输出一个算法f: X→Y，它将输入x∈X映射到输出y∈Y。通常，f被称为学习函数。学习优化的目标通常是一个函数，对模型输出进行评分，L:Y→ℝ，或将模型输出与目标答案进行比较，L: Y×Y→ℝ。我们可以互换地称这个L为目标函数、损失函数或损失。损失总是指我们寻求最小化的目标，而目标函数可以用来描述我们寻求最小化和寻求最大化的目标。

4.1 参数化的重要性

假设空间可以用学习者考虑的所有可能函数的集合 F 来描述。例如，一个假设空间可能是
“从$R^2$→$R$的所有映射”，另一个可能是“满足距离度量条件的所有函数$R\times R\to R_{\ge 0}$”。然而，通常情况下，我们不仅会指定假设空间，还会指定如何对空间进行参数化。例如，我们可以说我们的参数化假设空间是$y={\theta }_{1}x+{\theta }_0$，其中${\theta }_0$和θ1{θ_1}θ