机器学习小组知识点2：最小均方算法(LMS)

感谢：向原文作者Nanshu Wang致以崇高的敬意！原文请点击这里
声明：
博主只是推了一遍然后细节更多的阐释了下，再次向原文作者致谢！同时，向上海交通大学软件学院教师肖凯博士所搭建的平台致谢！

1. 有监督学习（Supervised Learning）
2. 线性回归(Linear Regression)
3. LMS算法
4. 正规方程(The Normal Equations)
5. 正规方程与梯度下降的比较

---

1.有监督学习

先理清几个概念：

1. $x^i$: $x^i$表示”输入”变量(“input” variables)，也称为特征(features)。
2. $y^i$: $y^i$表示”输出”变量(“output” variables)，也称为目标值(target)。
3. 一对$(x^i,y^i)$称为一个训练样本(training example)，用作训练的数据集就是就是一组$m$个训练样本$(x^i,y^i)$;$i=1,…,m$;被称为训练集(training set)。
4. $X$表示输入变量的取值空间，$Y$表示输出变量的取值空间。那么$h:X→Y$是训练得到的映射函数，对于每个取值空间 <