本文对比了使用单一PC机和Hadoop集群处理10T大小行存储文本文件中重复行的方法。介绍了传统处理方式与Hadoop分布式处理的具体步骤，强调了不同环境下数据处理的技术差异。
对10T大小行存储的文本文件进行重复行处理：
传统处理：
环境：PC机1台，8G内存
第一步：读文件并进行取模将相同行写入小文件
第二步：分别读取小文件并进行重复行的处理
Hadoop处理：
环境：PC机100台，8G内存
第一步：文件进行线性切割然后平均存储在100台PC机上
第二步：每台PC机读取当前机器上的切割后的文件，进行取模计算并写入小文件
第三步：每台PC机分别拉取与自己编号相同的小文件进行对数据的重复处理
Hadoop第一弹：与传统数据处理相比较
最新推荐文章于 2020-10-07 08:05:32 发布
扫一扫
941
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
