Stanford Online Machine Learning 学习笔记1——单变量线性回归

        TomMitchell 对机器学习的定义是：Acomputer program is said to learn from experience E, with respect to some taskT,  and some performance measure P, if its performance on T, as measuredby P, improves with experience E. 很押韵，诗情画意。简单说就是指程序可以从经验E中学习，让任务T的性能提高，性能通过P来度量。

        机器学习分为监督学习（Supervised learning）、无监督学习（Unsupervised learning），以及增强学习（Reinforcement learning）和推荐系统（Recommender system）。监督学习是指在训练的时候就知道正确结果，比如教小孩子给水果分类，先给他一个苹果，然后告诉他，这是苹果，再给他一个苹果，接着告诉他，这是苹果，经过这样反复的训练学习，如果再给他苹果的时候，问他，这是什么？他应该告诉你，这是苹果。如果给他一个梨，他应该告诉你，这不是苹果。监督学习分为两类：回归（Regression）和分类（Classification），如果机器学习算法的输出值是连续值，则属于回归问题，如果是离散值，则属于分类问题。和监督学习不同，无监督学习在训练的时候并不知道正确结果，继续上面的例子，给小孩子一堆水果，比如有苹果、橘子、梨三种，小孩子一开始不知道这些水果是什么，让小孩子对这堆水果进行分类。等小孩子分类完后，给他一个苹果，他应该他这个苹果放到刚刚分好的苹果堆中去。无监督学习常用的方法是聚类（Clustering）。增强学习是在机器学习算法程序运行的过程中，我们对他的行为作出评价，评价有正面和负面两种，通过学习评价程序应该做出更有可能得到好评价的行为。

        这次主要讲线性回归中的单变量线性回归，先给几个定义：

        m：表示训练集中样本的个数。

        x：输入变量，也就是