超级会员免费看
本文介绍了使用Hadoop3.x的MapReduce进行ETL（数据抽取、转换、加载）过程，特别是数据清洗。通过案例展示如何去除web.log文件中不符合要求的数据，讲解了Mapper的实现，包括输入输出类型设置，以及如何判断并过滤数据。通过设置setNumReduceTasks(0)，避免使用Reduce阶段。最终处理后的数据减少了不符合条件的行，实现了数据过滤的效果。
然后我们来看看etl,就是数据的抽取,转换,加载的过程,
其实就是数据清洗,有个职业叫etl工程师
然后我们去看数据清洗为什么需要,因为我们处理数据的时候,首先对数据分析,不符合条件的我们可以先过滤掉,然后
再去处理,这个过滤不符合条件的数据,就是etl,数据清洗
用个案例说明,去除web.log文件中不符合要求的数据
先去看看web.log中内容
订阅专栏 解锁全文
扫一扫
926
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
