数据挖掘中的采样与决策模型
1. 采样技术
在数据挖掘中,采样技术是非常重要的,它能帮助我们从大规模的数据中选取有代表性的子集进行分析。分层采样是一种常用的技术,当总体具有异质性,即各个部分差异较大时,如果能从中分离出某些同质的子总体(层),就可以使用分层采样。不过,如果不存在同质的子群体,这种方法就不太适用了。
平衡采样是分层采样的一种特殊情况,其中的层对应于不同的类别,并且从每个层中抽取的样本与该类别在总体中的规模成比例。
1.1 分层采样示例
假设有一个包含不同年龄段、不同性别和不同地区人群的数据集,我们可以按照这些特征将人群划分为不同的层,然后从每个层中按比例抽取样本。
1.2 平衡采样示例
如果数据集是关于不同产品类别的销售数据,我们可以将每个产品类别作为一个层,然后根据每个类别在总体销售中的占比来抽取样本。
2. 数据相关概念
2.1 数据预处理
数据预处理包括数据准备、数据清洗、数据调和等操作。数据准备是为了特定的机器学习目的对数据进行整理和转换;数据清洗则是去除数据中的噪声、缺失值等;数据调和涉及到数据的一致性处理和记录链接。
2.2 数据集
数据集是用于特定机器学习目的的数据集合。常见的数据集类型包括:
- 训练集 :作为学习系统的输入,用于学习模型。
- 测试集或评估集 :包含用于评估学习系统所学习模型的数据。
- 增长集和修剪集 :训练集可
订阅专栏 解锁全文
420



被折叠的 条评论
为什么被折叠?



