jmydream的专栏

在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。　　为了方便下面的解释和举例，先设定我们要比较X个体和Y个体间的差异，它们都包含了N个维的特征，即X=（x1, x2, x3

> randomForest( review_votes.useful ~ ., data=rFdata, importance=TRUE, na.action=na.omit,proximity=TRUE,keep.forest=T)Error in randomForest.default(m, y, ...) : Can not handle categorical predic

In statistics and optimization, statistical errors and residuals are two closely related and easily confused measures of "deviation of a sample from the mean": the error of a sample is the deviation o

Here are some options:Use the feature’s mean value from all the available data.Fill in the unknown with a special value like -1.Ignore the instance.Use a mean value from similar items.Use an

Logistic 回归延伸了多元线性回归思想，即因变量是二值（为了方便起见通常设这些值为 0 和 1）的情形。和在多元线性回归中一样，自变量 x1 , x2 ,..., xk 也许是类别变量或连续变量或是两种类型的混合。Logistic regressionPros: Computationally inexpensive, easy to implement, knowl

非参数统计数理统计学的一个分支。如果在一个统计问题中，其总体分布不能用有限个实参数来刻画，只能对它作一些诸如分布连续、有密度、具有某阶矩等一般性的假定，则称之为非参数统计问题。optimization algorithm:The first optimization algorithm we’re going to look at is called gradient

recent surveys claim that it’s the most commonly used technique.One of the best things about decision trees is that humans can easily understand the data.The decision tree does a great job of di

一、算法概述1、kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。最简单平凡的分类器也许是那种死记硬背式的分类器，记住所有的训练数据，对于新的数据则直接和训练数据匹配，如果存在相同属性的训练数据，则直接用它的分类来作为新数据的分类。这种方式有一个明显的缺点，那就是很可能无法找到完全匹配的训练记录。kNN算法则是从训练集中找

ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求