20、大数据时空数据清洗与中文实体链接方法解析

大数据时空数据清洗与中文实体链接方法解析

1. 大数据时空数据清洗

在处理大数据时空数据时，数据中可能存在大量的脏数据，这会影响数据的质量和后续的分析结果。为了解决这个问题，需要采用有效的数据清洗方法。

1.1 规则过滤实验

在原始数据中随机引入人工脏记录，然后执行基于规则的过滤操作。过滤完成后，扫描清洗后的数据，检查是否所有人工记录都被消除。在一次测试中，将原始数据中选定记录的比例分别设置为 5%、10%、15%、20% 或 25%。每次测试时，统计清洗后数据中正确记录的比例。实验结果表明，即使引入更多的人工记录，基于规则的过滤准确性仍然保持稳定。清洗后数据中正确记录的比例超过 78%，并且即使人工脏记录规模增加，该比例仍然保持较高水平。这是因为在过滤方法中，每条记录只被扫描和判断一次，而且部分人工脏记录的修改并未违反所定义的规则，所以无法被识别为非法记录。

选定记录比例	清洗后正确记录比例
5%	>78%
10%	>78%
15%	>78%
20%	>78%
25%	>78% </