Lesson 1 学习问题

    这是加州理工学院的《机器学习与数据挖掘》的公开课的第一讲：学习问题。整节课从下面五个方面进行，（1）机器学习的例子，（2）学习的构成，（3）一个简单的模型，

（4）学习的类型，（5）一道思考题。

1、机器学习的例子：预测观众会如何评价一部电影

                                                                     

   机器学习就是从电影到评价结果rating出发，试图找出与评价相一致的因素。随机抽取观众，电影和电影评价，然后通过上千万个数据统计得到每个观众的喜好形成一个向量，每个电影的特点形成一个向量，不断使得两个向量的内积与评价结果一致，然后找出评价模式与观众的评论一致。最后任意给出一个观众和一部电影，通过该模式就能预测出这位观众会如何评价这部电影。

2、学习的构成

学习的组成一般有：输入、输出、目标函数、训练集（输入输出构成的）、假设函数

目标函数是未知的，是我们要求解的。通过客观分析得到一个假设集，然后训练集通过学习算法不断学习，最终得到一个无限接近目标函数的假设函数。假设函数即是最终解。

3.学习模型

H是整个假设集，g是最终解，h是H中任意一个元素。

（1）一个简单的假设集——感知器

x1，x2，....，xd是固定的，通过改变wi和w0的值找到满意的解。然后设置零点x0，使得整个等式符号为正，这样整个式子变为W向量和X向量的内积。

（2）一个简单的学习算法—— PLA

 利用给定的训练集通过上面的感知器假说集进行运算，然后找出分类错误的点，并调节权制w。如图，当h(x)＝＋1即y=+1分类错误时，权值向量w与输入向量的夹角小于90度，所以改变权值使得w=w+yx,会使得h(x)＝－1。反之同理可得y=-1的情况。

对于因为一个分类错误的点调节权值而导致所有点分类错误的情况，可选择一个分类错误的点进行PLA的不断迭代。

4.学习类型

机器学习的本质是利用很多的观察结果即数据去挖掘一个潜在的过程。机器学习分为三类：（1）监督学习，（2）非监督学习，（3）增强学习

假设你有一个售货机，需要自动识别硬币值。

（1）你可以实际测量每种硬币的尺寸，得出对值（尺寸，币值），然后学习就可以自动分类到确定币值，这就是监督学习。监督学习会给定训练集包含输入和正确的输出（input, correct output） 。

（2）你也可以不测硬币的尺寸，直接进心识别，然后会识别出不同尺寸堆的硬币，但无法得知每种尺寸的硬币的币值，这就是非监督学习。非监督学习给定训练集只包含输入，不包含输出(input,?)

（3）增强学习是指给定输入和一些输出，并对输出进行评价,从而矫正答案。(input,some output,grade for output)