qq_41867448的博客

输入空间、输出空间、特征空间与假设空间是监督学习中的基本概念，我把它们放到一起方便记忆。输入空间(input space)：输入所有可能取值的集合输出空间(output space)：输出所有可能取值的集合输入与输出空间可以是有限元素的集合，也可以是整个欧式空间（定义了內积的实线性空间），它们可以是同一个空间，也可以是不同的空间，通常，输出空间远远小于输入空间。特征空间(feature...

  线性回归是监督学习中的典型问题，分为学习和预测两个过程。线性回归所反映的是从特征空间到输出空间的一种映射，即一个具体的输入（也叫实例）x和输出y之间存在的某种函数关系，x叫自变量，y叫因变量。而线性回归模型是对已知数据及其标签进行训练得到的一个函数（也说从特征空间到输出空间的映射集合），它不仅能对已知数据有很好的拟合效果，而且能够很好的对未知数据进行预测。  假设有一个简单的训练数据集 T=...

k近邻法（KNN）knn是一种基本的分类与回归方法，其分类思想在于给定一个训练数据集，对一个新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，若这k个实例的多数属于某个类，就把这个实例分为这个类。knn需要注意的几个术语：邻域、距离、位置、维度(影响着模型的复杂度)，下面是knn大致的一个内容。补充：  设特征空间X是n维实数向量空间Rn，xi，xj∈X，xi=(xi(1),xi(...