MLAPP学习笔记-Data Mining和Machine Learning的区别及延伸

一、写在前面

　　从上学开始，都习惯把笔记记录在纸张上，大多数是觉得可以偶尔练练字什么的。但问题是时间一长的笔记就很容易遗失，不管是纸张老化还是自己不知道扔哪了。另一个是，自己本身也是从事数据分析这个方向，看得最多还是电子版的资料。所以，决定试着把笔记也通过写博客的方式来积累。

二、笔记背景

　　从2014年开始，算是系统学习Data Mining这方面的知识。 之前都是大学课余时间的了解。之前 StackExchange （stats.stackexchange.comi）上有一个问题，就是说“Data Mining、Machine Learning、AI和统计学有什么区别？”。说实话，从大学二年级开始接触Data Mining的科普知识，到了研究生二年级，在做“Text mining”的相关研究，用得最多是“非参贝叶斯模型”的基础知识。但是很明确说出一些它们之间的区别，才感觉自己只不过看见树木，很少跳出来看看整个森林。其实这并不是一件很好的事，只顾局部，不看全局。所以很遗憾自己没能很快拿出一个可解释的结果。在第三部分，我将做一次结果的搬运工，把自己理解的看法记录在这篇笔记中。当下很流行的是“大数据”这种概念，我算是比较保守的。这种各个行业都能喊出的概念比较难以接受，理解比较慢吧！很长一段时间，不知道“大”到底在哪？但是很多所谓“大数据分析”还是基于基础，比如“机器学习”。“机器学习”最近很火，网上的理由太多，而我是本身学习研究就是用到的一些知识，所以对“机器学习”总有一定认识和理解。在机器学习上，国内能拿得出手的教材确实很少，在写这篇笔记之前，国内算是出了一本良心之作是周志华老师《机器学习》，奔着支持的心，买了一本学习了一下。感觉阅读还是挺顺的。但之前到现在，一直学习国外几本经典之作，一本是《PRML》和《MLAPP》。当然这是简写，全称可以随便一搜索就可以找到。太经典了！最近自