DM&NLP

“大数据”、“海量数据分析”、“数据挖掘”等已经成为近两年超级流行的词汇：2012年初《纽约时报》刊载《大数据时代降临》，2012达沃斯世界经济论坛讨论“海量数据分析”和“机器学习”将会是未来最大的技术革命之一等等。海量数据中蕴含着丰富的信息，从中挖掘出的“宝藏”将有助于人们做出科学的决策。分类分析作为数据挖掘实际应用中最常用的一种方法，就是判断目标对象属于哪个预先定义好的类。例如：社交管理营销公

基本原理NMF，非负矩阵分解，它的目标很明确，就是将大矩阵分解成两个小矩阵，使得这两个小矩阵相乘后能够还原到大矩阵。而非负表示分解的矩阵都不包含负值。 从应用的角度来说，矩阵分解能够用于发现两种实体间的潜在特征，一个最常见的应用就是协同过滤中的预测打分值，而从协同过滤的这个角度来说，非负也很容易理解：打分都是正的，不会出现负值。在例如Netflix或MovieLens这样的推荐系统

卡方检验作为一种常见的假设检验，在统计学中的地位是显而易见的，如果你还不太清楚可以参看这篇博文:卡方检验用于特征选择，写的非常的浅显易懂，如果你还想再扩展点卡方检验方面的知识，可以参看这篇博文卡方检验基础，写的也很有意思。前辈的功底都很深厚，小弟就就不再阐述卡方检验的原理、意义及如何计算了，理解了其实很简单就那么个公式，再根据实际业务场景关键看你选择哪一个。从chi-squared value

Logistic回归在二分类问题上被广泛地应用，因为其在多数的问题上，比线性回归优异得多。下面是以最简单的二分类因变量为例来加以探讨（当然，逻辑回归还可以应用于多分类的情况下），常定义出现阳性结果时反应时反应变量取值为1，反之则取值为0。例如当对网络用户进行营销的时候，结果是：营销成功，用户购买，则反应变量为1，否则用户没有购买，因此反应变量为0。记出现阳性结果的频率为P(y=1)。很显然，0

预测    10 实1d, True Positivec, False Negativec+d, Actual Positive际0b, False Positivea, True Negativea+b, Actual Negative

Matrix Factorization: A Simple Tutorial and Implementation in PythonThere is probably no need to say that there is too much information on the Web nowadays. Search engines help us a little b