大数据
关注
分享
扫一扫
文章平均质量分 84
菜瓜技术联盟
这个作者很懒，什么都没留下…
展开
-
hadoop之重写word count案例
目录1．需求2、建立maven工程编写代码1.配置在pom.xml文件中添加如下依赖编写程序（1）编写Mapper类（2）编写Reducer类（3）编写Driver驱动类3．本地测试4、集群上测试1．需求在给定的文本文件中统计输出每一个单词出现的总次数（1）输入数据ss sscls clsjiao shi wangwu clsbanzhangxuehadoop（2）期望输出数据banzhang 1cls 3hadoop...原创 2021-02-18 04:24:49 · 633 阅读 · 0 评论 -
hadoop之mapreduce教程+案例学习(三）之数据清洗案例
3.9 数据清洗（ETL）目录3.9 数据清洗（ETL）3.9.1 数据清洗案例实操-简单解析版3.9.2 数据清洗案例实操-复杂解析版3.10 MapReduce开发总结在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。3.9.1 数据清洗案例实操-简单解析版1．需求去除日志中字段长度小于等于11的日志。（1）输入数据194.237.142.21原创 2021-02-11 10:49:12 · 4604 阅读 · 4 评论