台大林轩田机器学习课程笔记3----机器学习的可行性

引例

先引入一个矛盾问题：

图3.1 图案学习问题
这是一道推理题，根据第一行和第二行图形的规律分别输出-1和+1，然后通过上述规则学习推理出第三行图形的输出。每个人通过学习所获得的答案是会不一致的，例如通过对称的规律可以得到第三行的图形f=+1，而如果通过图案左上角颜色的规律则得到第三行的图形f=-1。所以该问题没有足够的信息告诉我们哪一个是正确的答案。

学习是否可行

那么学习到底可不可行？根据图3.1，前两行就是训练数据集D,我们知道D上所有点的f值，但是由于在数据集D之外我们并没有太多关于f的信息，所以这并不意味着我们已经学习到了f。如果数据集D可以告诉我们一些D之外的事情，那么我们会学习到一些东西，否则，学习是不可行的。

图3.2
考虑一个在三维输入空间X={0,1}\^3下的布尔目标函数，如图3.2，给出了五个样本以及实心/空心输出。当然该问题的一个优势是通过穷举可以得出所有的输入以及输出。

图3.3
我们需要通过学习上面五个样本来推测出下面三个点的输出,即要得出最