yunlinzi的博客

主要内容数据探索数据质量分析：缺失值、异常值、一致性；数据特征分析：分布分析、对比分析、统计量分析、周期性分析、贡献度分析、相关性分析；主要函数数据预处理数据清洗：缺失值处理、异常值处理；数据集成：实体识别、冗余属性识别；数据变换：数据规约：主要函数：挖掘建模分类与预测：聚类：关联规则：时序模式：离群点检测：...

盒图(boxplot)盒图是在1977年由美国的统计学家约翰·图基(John Tukey)发明的。它由五个数值点组成：最小值(min)，下四分位数(Q1)，中位数(median)，上四分位数(Q3)，最大值(max)。也可以往盒图里面加入平均值(mean)。如上图。下四分位数、...

LIBSVM简介准备工作下载LIBSVM工具（LIBSVM工具下载地址），然后解压，在MATLAB中进行make生成相应的可执行文件即可使用，后续的模型训练等工作主要是使用以下四个文件（函数）：libsvmread.mexw64： 将原始数据（txt，xls等）转化为SVM package格式libsvmwrite.mexw64： 将SVM package格式合并成其它格式文件（txt，...

数据质量分析主要是检查原始数据中是否存在脏数据，是数据预处理的前提，主要包括以下几种：缺失值：记录的缺失或某个字段信息的缺失，一般的做法是删除、插补或者不作处理。异常值：也即离群点，常用简单统计分析（如最大值、最小值，先对变量做一个描述性统计，进而查看哪些数据是不合理的，如199岁的年龄显然不合理），3...

数据清洗主要工作是删除原始数据集中的无关数据、重复数据、平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值等。缺失值处理异常值处理数据集成数据变换数据规约主要处理函数...