启动第一个Hadoop应用

本教程详细介绍了Hadoop集群的安装过程,并通过创建输入文件目录、复制配置文件和执行内置示例应用,展示了如何使用Hadoop进行数据处理。通过web控制台和命令行工具,用户可以查看Hadoop的运行状态和处理结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hadoop集群安装成功。启动:
$  bin/start-all.sh


一、查看Hadoop启动的情况:

1、查看进程:
$ jps
在各个节点机器上查看。
启动第一个Hadoop应用 - ppy2790@126 - IT AIR

OK!注意查看各个节点启动的进程。

还有以下其他方式查看Hadoop运行情况。

2、$  bin/hadoop dfsadmin -report    查看:
启动第一个Hadoop应用 - ppy2790@126 - IT AIR
 
3、打开web控制查看:
HDFS监控:
http://192.168.1.102:50070

MapReduce监控:
http://192.168.1.102:50030

二、启动第一个Hadoop应用:

1 创建输入文件目录 
bin/hadoop fs -mkdir input 
 

2 复制文件到输入目录 ,把hadoop/conf的xml文件复制到input目录
 bin/hadoop fs copyFromLocal conf/*.xml input

3 启动Hadoop自带例子中的example应用 (统计以dfs开头的单词数量)
bin/hadoop jar hadoop-examples-1.1.2.jar grep input output 'dfs[a-z.]+' 

启动第一个Hadoop应用 - ppy2790@126 - IT AIR
 

4 查看处理的输出结果 
bin/hadoop fs -ls output 
bin/hadoop fs -cat /user/hanxb/output/part-00000

启动第一个Hadoop应用 - ppy2790@126 - IT AIR
 
5 web查看统计结果
http://192.168.1.110:50075

启动第一个Hadoop应用 - ppy2790@126 - IT AIR
 
启动第一个Hadoop应用 - ppy2790@126 - IT AIR
 
启动第一个Hadoop应用 - ppy2790@126 - IT AIR
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值