监督学习基础概念及实现过程（联合概率分布+假设空间）|15mins入门|《统计学习方法》学习笔记（二）

监督学习

• 任务：学习一个模型，使模型能够对任意给的输入，对其相应的输出做出一个好的预测（指某个系统的输入与输出，与学习的输入与输出不同）

• 基本概念：

  • 输入空间（input space）与输出空间（out space）：输入与输出所有可能取值的集合

    • 特点：可以是有限元素的集合，也可以是整个欧式空间；可以是相同空间或不同空间；通常输出空间远远小于输入空间
    • 输入、输出变量分别用大写字母$X$和$Y$表示，输入、输出变量取值分别用小写字母$x$和$y$表示。变量可以是标量或向量，都用相同类型字母表示。

  • 实例（instance）：每个具体的输入，通常有特征向量表示（feature vector），记作:
    $$x=(x^{(1)},x^{(2)},...,x^{(i)},..,x^{(n)}{)}^T$$
    $x^{(1)}$表示$x$的第$i$个特征。注意$x^{(i)}$与$x_i$不同，$x_i$表示多个输入变量中的第i个，即
    $$x_i=(x_i^{(1)},$$