YARN wordcount

使用Hadoop执行WordCount任务

最新推荐文章于 2025-12-02 14:21:01 发布

原创最新推荐文章于 2025-12-02 14:21:01 发布 · 145 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#yarn #hadoop

该博客展示了如何在本地创建wordcount.txt文件并将其上传到HDFS。接着，通过YARN提交Hadoop MapReduce的WordCount示例任务，对输入数据进行计数并输出结果到指定目录。

在本地创建wordcount.txt文件，并完成数据写入

echo -e "Deer Bear River\nCar Car River\nDeer Car Bear" > wordcount.txt
hadoop fs -mkdir -p /training/{student_name}/yarn_data/wordcount_input
hadoop fs -put wordcount.txt /training/{student_name}/yarn_data/wordcount_input/

提交yarn任务


hadoop jar hadoop-mapreduce-examples-2.7.2-transwarp-7.0.1.jar wordcount /training/{student_name}/yarn_data/wordcount_input /training/{student_name}/yarn_data/wordcount_output