机器学习笔记（二）

机器学习笔记（2,3课）

一.线性回归的概率解释
1.数学模型

我们的目的是较好的拟合x,y之间的关系，但是实际上我们并不知道x,y之间的具体关系，而且这种关系也很难用精确的数学公式去表达。因此，引入误差项,这样上式就是合理而且精确的表达。
然后，继续假定
按照我的理解，这个假定就不具有一般性了。根据中心极限定理，符合高斯分布是合理的，但是并不一定是均值为0的高斯分布，方差也不一定是一样的。但是对于回归问题，经验实际表明这是一个合理的假设。
在建立了上式的数学模型后，就可以用数学式表达xi,yi出现的概率。之后再使用最大似然估计，就可以得出与之前线性回归里面的最小二乘方法一样的结果。

2.概率解释
对于回归问题，使用线性回归和最小二乘法求解，在本质上等价于用上面所述的数学式去刻画xi,yi出现的概率，这就证明了最小二乘法的合理性。
个人理解，这里的概率解释也是给出了对于未知模型使用概率建模的一种思路。概率是描述不确定事件的理论根基，最小二乘法可以看成是使用概率来对回归问题进行建模。之后要讲的logistic回归应当就是这样做的。

二．局部加权线性回归
1.数学模型


上面的数学模型的关键点就在于w(i)。我们建立模型，求解未知参数的最终目的是为了预测。一般的线性模型是平等的考虑所有训练数据的影响，先训练出一个具体的模型。之后对于任意的x，直接就可以算出预测值y。
而局部加权线性回归则是对每一个需要进行预测的x都需要进行这样一个赋权重然后然后求解参数的过程。这样做虽然耗资源更多，但是是更加合理的。

2.概率解释（个人理解）
还是沿用一般线性回归的概率解释，如果，即不同的测试样本点对应的误差方差不一样，那么就会得到局部加权线性回归模型的概率解释。

对于不同的测试样本点，.wi小，意味着方差大，方差大就意味着数据比较分散，从而该测试样本点对参数求解的影响小。

三．Logistic 回归与分类问题
1.数学模型
二分类问题可以看做一种特殊的回归问题，很自然的想法是利用线性回归的方法去解决分类问题。但是根据最小均方回归的概率解释，这样做是不合理的，预测分类的结果不可能是服从高斯分布的。
因此，实际建立的数学模型：

这里利用了sigmoid函数的特性，比之线性模型，应当是一个更加合理的模型

2.概率解释

有了上述概率解释之后，接下来就可以类似的使用最大似然法求解参数。
讲义中有详细的推导，最终得到了梯度下降法的迭代公式。这里是无法得到类似的闭式解的。

四．牛顿法
牛顿法给出了求解L极值的另一种方法，知道公式即可：

五．广义线性模型
1.数学知识
指数分布族：

固定a,b,T之后，就可以得到一个系列的分布，这些分布仅仅随的不同而不同。贝努利分布和高斯分布都可以看成是指数分布家族的成员。

2.广义线性模型构建
1）假定p(y | x)服从某种分布（指数分布簇的一种），对未知进行建模
2）求解E(y|x),得到h(x)
3）假定,代入求解
3.广义线性模型的解释
广义线性模型是提供了解决分类与回归问题的一种通用的手段。对于分类或者回归问题，首先是用概率分布进行建模，当对特定问题的概率分布是指数分布族的成员的时候，就可以使用之后通用的步骤去求解。往往通过这种通用的步骤会建立好p(y | x)与的关系，之后就可以使用概率论里面的最大似然方法来求得参数。
4.总结
到目前为止学过的最小二乘回归,logistic回归都可以视为广义线性模型的特例，解决这类问题的思路是用概率分布来对问题进行建模，然后使用最大似然法求解参数。把问题从曲线拟合上升到概率分布，用概率论的知识来描述未知，以概率论作为理论基础，这就是目前为止处理机器学习问题的主要思路和方法。