#读书笔记#大数据·互联网大规模数据挖掘与分布式处理 第一章

第一章只有薄薄的十四页，但先概述了数据挖掘的定义。也谈到了数据挖掘的局限性——邦弗兰妮原理。最后介绍了数据挖掘要用到的相关知识，如TD·IDF,Hash,Index,二级存储器,以及建模计算中需要用到的e，和幂定律。

  虽然现在Data mining 炒的非常的火，但在几十年前，这个概念还是具有贬义色彩的，指过度抽取数据而不是信息的本身。很多人把机器学习等价于数据挖掘，事实上，二者是包含和被包含的关系。一些数据挖掘中适当的使用了些机器学习的算法。机器学习的将数据作为输入来训练相应的算法，比如贝叶斯网络，决策树，马尔科夫链等。机器学习比较适合的领域是对数据挖掘没有明确的目标。而如果对数据的目标可以直接描述的时候，比如简历筛选，机器学习就没有了任何优势.

  数据建模的一般方法：

    a.数据汇总，eg:PageRank

    b.特征抽取，1）Frequent Itemset 购物车关联商品推荐 2）Similar Item  亚马逊推荐系统