Hadoop 运行wordcount案例

本文介绍Hadoop集群的搭建步骤,包括启动DFS、YARN等组件,并通过WordCount实例演示如何进行简单的数据处理。此外还介绍了HDFS的基本操作命令。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

启动dfs

[hadoop@master-hadoop hadoop-2.4.1]$sbin/start-dfs.sh

启动yarn 资源集群管理

[hadoop@master-hadoop hadoop-2.4.1]$sbin/start-yarn.sh

启动历史服务

[hadoop@master-hadoop hadoop-2.4.1]$sbin/mr-jobhistory-daemon.shstart historyserver

查看系统进程

[hadoop@master-hadoop hadoop-2.4.1]$jps


注意:

 NameNode 存储元数据

 DataNode  存储数据

 SecondaryNameNode  辅助namenode进行集群管理

 ResourceManager   管理集群资源

 NodeManager   负责ResourceManager申请资源

 Jps  查看系统进程

http://master-hadoop.dragon.org:50070/dfshealth.jsp



删除当前wc.txt文件

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -rm /test/wc.txt

删除当前目录下所有的文件

[hadoop@master-hadoop hadoop-2.4.1]$ bin/hdfs dfs -rm /out2/*

查看文件是否被删除了!

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -ls /test/

删除目录test

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -rmdir /test

查看是否存在目录test

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -ls /

 

创建目录test

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -mkdir /test

编辑个空文件

[hadoop@master-hadoop hadoop-2.4.1]# touch wc.input

编写这个文件

[hadoop@master-hadoop hadoop-2.4.1]# vi wc.input

将这个文件上传到hdfs /test/

[hadoop@master-hadoophadoop-2.4.1]$ bin/hdfs dfs -put ./wc.input /test/

 

运行wordcount案例输入,输出

[root@master-hadoop hadoop-2.4.1]# bin/yarn jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /test  /out1



http://master-hadoop.dragon.org:19888/jobhistory/job/job_1488239177698_0001/



 [hadoop@master-hadoop hadoop-2.4.1]$ bin/hdfsdfs -ls /out1

Found 2 items

-rw-r--r--  1 hadoop supergroup          02017-02-27 08:28 /out2/_SUCCESS

-rw-r--r--  1 hadoop supergroup         512017-02-27 08:28 /out2/part-r-00000

 

查看/test/output/part-r-00000文件的统计的单词个数

[hadoop@master-hadoophadoop-2.4.1]$ bin/hdfs dfs -text /out1/part-r-00000

hadoop 2

hdfs   1

hello  1


http://master-hadoop.dragon.org:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/&nnaddr=192.168.23.128:9000


源文件


输出文件



查看统计单词的个数



停止dfs

[hadoop@master-hadoop hadoop-2.4.1]$ sbin/stop-dfs.sh

停止yarn

[hadoop@master-hadoop hadoop-2.4.1]$ sbin/stop-yarn.sh

停止jobhistory

[hadoop@master-hadoop hadoop-2.4.1]$sbin/mr-jobhistory-daemon.sh stop historyserver








评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值