数据挖掘学习笔记-关于数据的基本概念

数据认识

属性：

按照属性的类型分：
1. 定性的（分类的）
标称（nominal)\序数（ordinal)
2. 定量的（数值的）
区间（interval）、比率(ratio)

按照属性值的个数分：

1. 离散的（discrete)
2. 连续的（continuous)

数据质量：

因为存在测量误差及数据收集错误（如遗漏数据对象或遗漏数据属性，或不当地包含了其他数据对象等错误），会出现噪声或伪像，
所以需要进行数据清理（data cleanning)
##### 数据质量度量
1. 精度 （同一个量的）重复测量值之间的接近程度，故常用标准差来度量
2. bias 测量值与真实值间的系统误差

数据预处理：
1. aggregation
2. 抽样

 需要样本容量  自适应抽样 渐进抽样

3. 维归约（多属性降低为较少属性）

   主要技术：PCA（主成分分析） 、SVD（奇异值分解）

1. 特征子集选择（降低维度的另一种方法，采用选取特征的一个子集）

   特征子集选择、特征加权

2. 特征创建：

   特征提取（由原始数据创建新的特征集称作特征提取）

   时间序列类型数据采用傅里叶变换 特征构造

3. 离散化和二元化

4. 变量变换

   例如：相似度到[0, 1]区间的变换公式：
   s’ = (s-min_s)/(max_s-min_s)

   Note: max_s和min_s分别是相似度的最大值和最小值

数据对象的相异度：
1. 距离：

 参考链接：http://blog.youkuaiyun.com/tianlan_sharon/article/details/50904641