MapReduce----线性最小二乘（线性回归）

要理解本章，要先看懂线性最小二乘这篇文章。

我们知道在解线性最小二乘问题时，我们已知的准备工作是数据集（训练集），包含M个点，即：

其中：

。

而我们最后要的结果是。

我们是通过下面的式子求的：

其中：

，，。

我们求和时，就会用到MapReduce。

因为和都是矩阵相乘的结果，那么根据MapReduce---<数学之美>这篇文章，可知道通过矩阵的分块来实现Map和Reduce的两个过程。

，

其中：

。

（注意：向量只不过是在向量前加上了标量1）。

我们把这M个分成份，分别再台计算机上运行，那么这个过程就是Map。

然后把个结果相加，就得到了矩阵和，这个过程就是Reduce。

—————————————————————————————————————————————————————————————————————————————

结论：如果算法过程中出现矩阵的相乘，那么这一步我们就可以用MapReduce。

下一节，讨论主成分分析在什么地方，用到MapReduce，最好先看一下主成分分析的证明过程，哪一个地方，用到了矩阵的相乘。