数据挖掘实验一、数据预处理

最新推荐文章于 2024-03-29 08:26:44 发布

qq_45964335

最新推荐文章于 2024-03-29 08:26:44 发布

阅读量1.8k

点赞数 2

文章标签：数据挖掘数据仓库数据库

本文链接：https://blog.youkuaiyun.com/qq_45964335/article/details/129541582

版权

本文详细介绍了数据挖掘实验中数据预处理的过程，包括数据清理、数据集成、数据变换和数据归约。实验目标是使用VC++编程实现这些功能，确保数据的清洁、一致和集成。通过处理遗漏值、噪音数据、不一致数据，统一日期格式，去除冗余信息，实现了数据预处理的目标，提高数据挖掘质量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据挖掘实验一、数据预处理

一、实验目的：
（1）熟悉 VC++编程工具和完全数据立方体构建、联机分析处理算法。
（2）浏览拟被处理的的数据，发现各维属性可能的噪声、缺失值、不一致性等，针对存在的问题拟出采用的数据清理、数据变换、数据集成的具体算法。
（3）用VC++编程工具编写程序，实现数据清理、数据变换、数据集成等功能。
（4）调试整个程序获得清洁的、一致的、集成的数据，选择适于全局优化的参数。
（5）写出实验报告。
二、实验原理：

数据预处理
现实世界中的数据库极易受噪音数据、遗漏数据和不一致性数据的侵扰，为提高数据质量进而提高挖掘结果的质量，产生了大量数据预处理技术。数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。
数据清理
数据清理例程通过填写遗漏的值，平滑噪音数据，识别、删除离群点，并解决不一致来“清理”数据。
数据集成
数据集成将数据由多个源合并成一致的数据存储，如数据仓库或数据立方体。
数据变换
通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。
数据归约
使用数据归约可以得到数据集的压缩表示，它小得多，但能产生同样（或几乎同样的）分析结果。常用的数据归约策略有数据聚集、维归约、数据压缩和数字归约等。

三、实验内容：

实验内容

用 VC++编程工具编写程序，实现数据清理、数据变换、数据集成等功能，并在实验报告中写出主要的预处理过程和采用的方法。
产生清洁的、一致的、集成的数据。
在试验报告中写明各主要程序片段的功能和作用。

实验步骤

仔细研究和审查数据，找出应当包含在你分析中的属性或维，发现数据中的一些错误、不寻常的值、和某些事务记录中的不一致性。
进行数据清理，对遗漏值、噪音数据、不一致的数据进行处理。
例如：
1、日期中的缺失值可以根据统一的流水号来确定。
2、购买的数量不能为负值。
1）进行数据集成和数据变换和数据归约，将多个数据源中的数据集成起来，减少或避免结果数据中的数据冗余或不一致性。并将数据转换成适合挖掘的形式。
例如：
1、进行完数据清理后发现购买数量、销售价格、总额是相互关联的项可以去掉总额。
2、三个流水表日期的格式不一样应统一成相同的日期格式。
3、门号和 pos 机号码一样，可以去掉一个。
4、附加：同一购物篮的商品序号应该是顺序递增的。

程序框图
关键代码

#include<iostream> 
#include<string> 
#include<fstream> 
#include<algorithm> 
using namespace std; 
class Sales {
    
    public: //1.定义销售类
        string serial;   
        int market;   
        int posno;   
        string date;   
        int sn; 
        int id; 
        float num;   
        float price;   
        float total; 
        friend