MapReduce之Word Count案例代码实现

最新推荐文章于 2024-11-03 22:44:34 发布

QYHuiiQ

最新推荐文章于 2024-11-03 22:44:34 发布

阅读量772

点赞数 2

分类专栏：大数据之Hadoop 文章标签： mapreduce hadoop big data

本文链接：https://blog.youkuaiyun.com/QYHuiiQ/article/details/124973888

版权

大数据之Hadoop 专栏收录该内容

58 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用MapReduce实现Word Count功能，从准备数据文件到在HDFS上创建目录，再到编写自定义Mapper和Reducer类，最后打包并运行程序，成功输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备用于计算word count的数据文件

[root@hadoop01 test_data]# pwd
/usr/local/wyh/test_data
[root@hadoop01 test_data]# vi test_word_count.txt
[root@hadoop01 test_data]# cat test_word_count.txt
hello,world
hadoop,world,sqoop
hive,hello,hadoop,mysql
welcome,hadoop

在HDFS上创建目录，并将上述准备的数据文件上传至HDFS

[root@hadoop01 test_data]# hdfs dfs -mkdir /test_word_count
[root@hadoop01 test_data]# hdfs dfs -put test_word_count.txt /test_word_count/

新建project，pom.xml引入依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&#

了解本专栏