从曲线拟合问题窥视机器学习中的相关概念

从曲线拟合问题窥视机器学习中的相关概念

一直徘徊在机器学习的边缘未敢轻易造次并畏惧其基本原理思想，从每一本厚厚的参考资料中都可以看出机器学习是一门跨越概率论、决策论、信息论以及最优化的学科的综合学科，今天终于鼓足勇气向其挑战，选择该领域经典书籍PRML研读，希望能有点收获。后面的一系列的文章都是从一个初学者的角度来学习机器学习领域的知识。

1.   曲线拟合问题

定义：给定一系列输入x_i以及目标值t_i，目标是找到一个关于x的函数f(x)能够比较好的拟合给定的输入，并且能够对新给出的x值预测其输出。

问题本身就是一个学习问题，那什么是机器学习呢？通过有限的输入数据以及对应的目标值（也称训练数据）学习到一个模型或者推断函数，并且利用这个模型或者推断函数对新数据进行预测。这里的机器学习一般是指统计机器学习，即基于数据和统计方法。统计学习方法是基于数据构建统计模型从而对数据进行预测与分析，可以分为：监督学习和非监督学习。

a)监督学习：训练数据包括给定的输入及其相应的输出，可以根据输入和输出的类型分为分类问题、标注问题和回归问题。

1) 分类问题： 输出变量为有限个离散变量的预测问题，可以根据离散变量k的个数分为二分类问题（k=2）和多分类问题（k>2），常用方法包括k近邻法、感知机、朴素贝叶斯、决策树等

2) 回归问题：输入变量和输出变量均为连续变量的预测问题，可以根据参数的系数k分为线性回归（k=1）和非线性回归（k>1）。

3) 标注问题：输入变量和输出变量均为变量序列的预测问题，常用方法包括隐马尔科夫模型（HMM）、条件随机场（CRF）

b)非监督学习：训练数据仅包括输入没有指定相应的输出。

1)聚类：在杂乱的数据中发现相似的簇或者数据集合

2)密度估计：发现输入数据的概率密度函数