使用java对大量存在重复且不规律的数据进行统计分析【数据清洗模块】(如需借鉴,请务必标明作者)
问题1:对于64w条评教数据,我们如何对其进行可信度分析
一. 数据清洗
处理前的数据(部分)
第一轮清洗源码
package CleanData;
import Data01.AllComment;
import java.util.ArrayList;
import java.util.HashSet;
/**
* description: CleanData.FirstClean
*
* 第一轮清洗:
* 对数据进行初步粗处理
*
* 剔除的数据特征:总评数据重复
*
* 第一
原创
2021-05-25 11:03:56 ·
1196 阅读 ·
1 评论