Hadoop 里的一些简单命令

最新推荐文章于 2025-09-12 20:46:57 发布

weixin_33713503

最新推荐文章于 2025-09-12 20:46:57 发布

阅读量93

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java

原文链接：https://my.oschina.net/jamaly/blog/325411

本文介绍如何使用Hadoop进行WordCount处理的具体步骤，包括启动Hadoop、检查进程状态、配置输入输出路径及运行自带测试程序等，适合初学者快速上手。

为什么80%的码农都做不了架构师？>>>

1 启动hadoop
start-all.sh

2 看有几个java进程（成功的话应该有如下五个，不算Jps进程）
jps

3 查看NodeName 和 Map Reduce
浏览器地址栏中输入yaokj:50070和yaokj:50030

4 在Hadoop的HDFS文件系统上建立一个input文件夹，作为输入源，命令如下
hadoop fs -mkdir input

5 将一个测试文件上传到input文件夹中,测试文件的内容就是“hello world,hello hadoop"。执行如下命令
hadoop fs -put /home/kevin/Desktop/hello.txt input

6 执行Hadoop自带的测试程序wordcount，命令如下
hadoop jar hadoop-examples-0.20.203.0.jar wordcount input output

7 显示结果的内容，命令如下
hadoop fs -cat output/part-r-00000

转载于:https://my.oschina.net/jamaly/blog/325411