统计学习的思考

统计学习/机器学习

这是我第一次来到优快云。之前一直迷恋于统计学习理论。很少动笔写一些东西，也很少会给别人讲自己的思考，总觉理论写出来，说出来就不美了，就瞬间’破灭’了，别人也不懂你在说什么，那么我何必说呢？最后始觉不断的’破灭’才能将理论趋于完美，而这些需要分享。
个人理解统计学习和机器学习还是有一定的区别的，统计学习更加偏向于理论，机器学习偏向于实践的’技巧’。简单来说统计学习是在回答这样一个问题:为什么机器能够学习？也就是WHY的问题，机器学习是在回答这样一个问题:如何学习？如何更好的学习？也就是HOW的问题。

统计学/统计学习

我们都学过最基础的统计学，统计学大致分为两类参数统计和非参数统计。参数统计举个例子我们假定一个样本集服从正态分布$N(\mu ,{\sigma }^2)$,根据样本 { x i , y i } \{x_{i},y_{i}\} {xi​,yi​}我们来估计参数$\mu ,\sigma$。这样的话，只要我们知道一个新的$x_j$,那么我们就知道它的$y$，其实这就实现了预测的功能。发现一个问题没有，参数统计都要一个相对强的假设，样本服从什么什么分布或者其他什么先验知识，而且我们最后能够知道函数的整体分布。但是面对我们这个复杂的世界这样的假设成立么？很明显不成立，复杂世界是各种noise，分布的综合体。那么我们的预测某个样本的函数值这个目标有没有其他方法能够达到？这就引出了统计学习，统计学习降低了基本假设，不需要太多的先验知识，最后转化为一个最小化经验风险和结构风险的优化问题，同样理论证明这个优化问题和求原分布是一致的，只是这里有一个缺点是我们无法知道具体的分布，也就是说，统计学习降低了基本假设，放弃了具体分布，但是同样达到了我们的目标:预测，这个trade off真是真心赞。为什么要说这些呢？了解这些才能够创新新的模型。这些后面说。