使用hadoop自带的例子作测试 笔记三

最新推荐文章于 2025-06-28 11:32:26 发布
最新推荐文章于 2025-06-28 11:32:26 发布
阅读量265 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 操作系统
原文链接：http://www.cnblogs.com/retacn-yue/p/6194230.html
本文详细介绍了如何在已安装的Hadoop环境中进行基本操作，并通过Wordcount程序进行了性能测试，包括文件上传、下载、查看内容及执行计算任务。

使用hadoop自带的例子作测试

Hadoop中的常用命令:

 

//查看目录文件

root@vm:/software/hadoop/hadoop-0.20.2# bin/hadoop dfs -ls /

Found 1 items

drwxr-xr-x   - root supergroup          0 2015-10-02 13:25 /opt

 

#将操作系统中的文件放到hadoop中

Hadoop dfs -put 本地文件 hadopp文件夹

 

#将文件下载到本地

Hadoop dfs -get (hadoop文件名) 本地路径

 

#查看文件内容 

Hadoop dfs -cat 文件名

 

#删除文件目录

Hadoop dfs -rmr 文件名

 

#全局查看datenode的情况

Hadoop dfsadmin -report

 

#对于当前运行job的操作

Hadoop job (list/kill)

 

#均衡磁盘负载

Hadoop balancer

 

#进入和退出安全模式

Hadoop dfsadmin -safemode enter

Hadoop dfsadmin -safemode leave

 

 

 

 

对安装好的hadoop进行测试

在datanode中建立两个文件

Cd retacn

Mkdir input

Echo “hello world” >test1.txt

Echo “hello hadoop” >test2.txt

 

Cd ~/hadoop-0.20.2

 

#将文件上传到dfs 中

Bin/hadoop dfs -put  /root/imput in

 

#查看文件

Bin/hadoop dfs -ls ./in/*

 

#查看文件内容

Hadoop dfs -cat 文件名

 

使用hadoop自带的wordcount程序进行测试

 #in为数据源,out为输出目录

root@vm:/software/hadoop/hadoop-0.20.2# bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out

15/10/02 21:28:55 INFO input.FileInputFormat: Total input paths to process : 2

15/10/02 21:28:57 INFO mapred.JobClient: Running job: job_201510022121_0001

15/10/02 21:28:58 INFO mapred.JobClient:  map 0% reduce 0%

15/10/02 21:29:50 INFO mapred.JobClient:  map 50% reduce 0%

15/10/02 21:30:03 INFO mapred.JobClient:  map 100% reduce 0%

15/10/02 21:30:09 INFO mapred.JobClient:  map 100% reduce 100%

15/10/02 21:30:11 INFO mapred.JobClient: Job complete: job_201510022121_0001

15/10/02 21:30:11 INFO mapred.JobClient: Counters: 17

15/10/02 21:30:11 INFO mapred.JobClient:   Job Counters 

15/10/02 21:30:11 INFO mapred.JobClient:     Launched reduce tasks=1

15/10/02 21:30:11 INFO mapred.JobClient:     Launched map tasks=2

15/10/02 21:30:11 INFO mapred.JobClient:     Data-local map tasks=2

15/10/02 21:30:11 INFO mapred.JobClient:   FileSystemCounters

15/10/02 21:30:11 INFO mapred.JobClient:     FILE_BYTES_READ=55

15/10/02 21:30:11 INFO mapred.JobClient:     HDFS_BYTES_READ=25

15/10/02 21:30:11 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=180

15/10/02 21:30:11 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=25

15/10/02 21:30:11 INFO mapred.JobClient:   Map-Reduce Framework

15/10/02 21:30:11 INFO mapred.JobClient:     Reduce input groups=3

15/10/02 21:30:11 INFO mapred.JobClient:     Combine output records=4

15/10/02 21:30:11 INFO mapred.JobClient:     Map input records=2

15/10/02 21:30:11 INFO mapred.JobClient:     Reduce shuffle bytes=61

15/10/02 21:30:11 INFO mapred.JobClient:     Reduce output records=3

15/10/02 21:30:11 INFO mapred.JobClient:     Spilled Records=8

15/10/02 21:30:11 INFO mapred.JobClient:     Map output bytes=41

15/10/02 21:30:11 INFO mapred.JobClient:     Combine input records=4

15/10/02 21:30:11 INFO mapred.JobClient:     Map output records=4

15/10/02 21:30:11 INFO mapred.JobClient:     Reduce input records=4

 

 

 

查看测试结果

#查看根目录下的所有文件

Bin/hadoop dfs -ls

#查看文件 

Bin/hadoop dfs -cat ./out/*

 

 

转载于:https://www.cnblogs.com/retacn-yue/p/6194230.html

Hadoop学习笔记
weixin_45906989的博客
08-13 1707
Handoop学习笔记
大数据：Hadoop入门案例，命令行wordcount统计(1)
2401_84123171的博客
04-19 1020
学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。下方即为我手绘的Android框架体系架构知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的Android框架体系架构知识脑图原件（包括上方的面试解析xmind文档）
git add、commit的相关操作和工作原理
ch_atu的博客
12-15 867
一、工作原理 1.执行git add就是将工作区的内容提交到暂存区 2.执行git commit -m 'message’就是将暂存区的内容提交到版本库 二、git add 、git commit相关操作 1.当你还没执行git add的时候，可以通过git checkout – <文件> 来丢弃工作区的改动，此时工作区的文件的所有改动也将被清除 2.当你使用git add时，便将工作区的文件提交到了暂存区。如果还没有执行commit命令提交版本库的时候，此时如果想回退到工作区，可以使用命令g
git add 文件夹_图文并茂，详细讲解Git底层存储原理
weixin_39760295的博客
11-22 473
自从小学妹学完定时任务后(详情请看上篇文章)，对我那是百般仰慕，遇到问题第一时间就会想到我(是的，要的就是这种效果)。这不，小学妹今天又找我了，今天的问题是什么呢？听我细细道来...原来小学妹在公司中，用的是 Git的代码管理工具(还不知道这个软件的要面壁啦~)。有一天不知道发生什么了，文件夹中所有代码都被删掉了，但是只留下本地一个 .git文件夹，这可把小学妹急坏了，刚写完一个大功能，还没来得急...
git 基本命令 背后做了哪些事情
肢解生活，直达本质；凡所有相，皆是虚妄。
06-06 408
假设有有个名为number.txt的文件，文件内容是：first，该文件路径为/test/alpha。 在/test/alpha 下运行git init 来将该目录设立为 git 仓库。 运行git add number.txt 来将number.txt文件添加置 git 缓冲区（index）。缓冲区是 git 用来跟踪所有文件的一个列表，该列表通过文件名来映射文件内容。此时，缓冲区有了 nu...
git add . 之后 想执行回滚操作(git add 到本地仓库的代码回滚到没有add 之前的操作)
小牧在一直在学习,在前进的道路上大家一起学习，进步。
02-05 4348
git add 到本地仓库的代码回滚到没有add 之前的操作 ,如果git 非常熟悉临时忘记了命令 回滚单个文件的命令:git restore --staged xx文件名 回滚所有add 的文件直接执行git reset 即可, 下面我修改一个demo 详细的说下 随便修改几个文件执行git status 查看下状态 执行git add . 然后在执行git status 查看下状态 现在发现文件了,想把绿色的改为红色的 ,如果单个文件回滚执行 git restore --sta..
git 删除已经add上的文件
weixin_30823227的博客
11-06 175
$ git rm -f -r --cache .idea //.idea 是文件夹 当我忽略了某个文件夹的时候就是使用git add -u 去add 文件 这样就不会讲忽略的文件夹放进去了 git add -A和git add . git add -u在功能上看似很相近，但还是存在一点差别 git add . ：他会监控工作区的状态树，使用它会把工作时的所有变化...
1.Hadoop的安装和使用（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
05-24 2735
此笔记为第一篇，学校开放华为云平台，帮助我们学习有关大数据方面相关知识的学习笔记，因为是云平台，是已经搭建好linux环境了，使用的是Ubantu。精心整理，自学笔记，如有什么问题，请耐心指正 Hadoop的安装和使用 学习Hadoop的安装和使用 1 安装Hadoop前的准备工作 介绍安装Hadoop之前的一些准备工作，包括创建hadoop用户、安装SSH和安装Java环境等。 先配置hosts，输入以下命令，将本机的hostname添加到hosts文件中： 拷贝代码echo "127.0.0.1 "$H
大数据Hadoop、spark笔记 第三章：Spqrk应用基础
qq_45738761的博客
04-08 623
reduceByKey先生成（“spark”,[(6,1),(4,1)]）然后lambda[(6,1),(4,1)]得到（Hadoop,(10,2)），意为hadoop两天共卖出10本。例：有两个表userdata和event，前者包含用户ID和用户数据（一个大表，有10000项），后者包含用户ID和用户行为（小表，有1000项）。重新分区，需传入两个参数：（分区数，自定义的分区类）。在实际处理数据时，大量数据会放在多个主机中，每个主机分别多线程处理数据，之后将处理好的数据汇总到一个master节点整合。
【GIT】Git基本原理介绍之git init & git add
热门推荐
aqin1012的博客
03-28 24万+
git init 初始化代码仓库 生成.git文件夹 查看文件目录树 tree -a watch -n .5 tree -a 每0.5秒刷新一次当前目录的树状列表 rm -rf .git/hooks/*.sample 移除目录.git/hooks/下所有以.sample结尾的文件 config 代码仓库配置文件（本地） cat .git/config 查看本地配置 cat ~/.gitconfig 查看...
玩转git add
xm2by的博客
08-13 434
玩转git add 2、git add文件后想撤销，怎么办？ git status git reset HEAD 参考文献 [1] 【git】git add 添加错文件 撤销
探索git背后的秘密
星云随风 倚码为诗
07-11 6494
前言 洞悉技术的本质，可以让我们在层出不穷的框架面前仍能泰然处之。用了那么久的 Git，不懂点内部原理，那可不行！懂点原理可以让我们遇到问题的时候能够更好更快的理清解决问题的思路。 要真正读懂本文可能需要以下基础： 有 Git 使用经验 对 Git 的三个分区有所了解 熟悉常用的 Linux 命令 对经典哈希算法有一定的了解，比如SHA-1、SHA-256、MD5等 在开始之前，让我们先抛出几个问题，然后一一解决、回答它们 .git版本库里的文件/目录是干什么的? Git是如何存储文件信息的？ 当我们
【git教程】git add 命令讲解
最新发布
优快云_RTKLIB的博客
06-28 954
git add使用与原理说明
git add 相关命令
kenshin的专栏
10-29 2697
from: https://www.cnblogs.com/skura23/p/5859243.html git add . 监控工作区的状态树，把工作时的所有变化提交到暂存区。包括文件内容修改(modified)以及新文件(new)，但不包括 不被删除的文件。 git add -u 仅监控已经被add的文件(即tracked file)，将被修改的文件提交到暂存区。不会提交新文件(untrack...
git实现原理（从常见的操作来解释git的底层原理，再也不怯）
Java新生代
04-12 5165
了解了git原理，就可以在使用git时更加得心应手
linux git add命令详解,git add命令
weixin_42516021的博客
05-15 1486
git add命令将文件内容添加到索引(将修改添加到暂存区)。也就是将要提交的文件的信息添加到索引库中。简介git add [--verbose | -v] [--dry-run | -n] [--force | -f] [--interactive | -i] [--patch | -p][--edit | -e] [--[no-]all | --[no-]ignore-removal | [-...
《Git常用命令》详细讲解·第3篇（git add、git mv和git rm）
Python老吕的博客
03-28 1714
删除文件——git rm 是一个用于删除文件并将这次删除操作加入到Git版本控制中的Git命令。这个命令会将 file1.txt 移动到 folder1 目录下，并将 folder2 目录下的 file3.txt 文件重命名为 file2.txt。跟踪所有改动过的文件——git add 命令用于将工作区的更改添加到暂存区，它可以跟踪新的文件或者已修改的文件，但不会跟踪那些被删除的文件。注意：在执行这些操作之前，你应该确保你的工作目录是干净的（没有未提交的更改），否则Git可能不允许你执行这些操作。
Git基本操作 vs SVN
basycai的博客
07-12 2282
FROM http://www.cnblogs.com/guanghuiqq/archive/2012/08/27/2658752.html              http://www.open-open.com/lib/view/open1332904495999.html              http://www.cnblogs.com/xh831213/archiv
git指令记录
qq_45186203的博客
06-06 125
git status 查看暂存区状态 git add 【file name】 添加指定文件到暂存区 git commit -a 进入提交界面，核对修改文件，在最上面输入版本信息，ctrl+x退出，按Y保存。 git push 提交文件到服务器端。接下来就能在服务器端看到commit记录了。git clonegit clone git://git.xx/xxx/git.git 通过git协议获取 git c
linux hadoop自带的wordcount测试
03-20
<think>好的，我现在需要帮助用户在Linux环境下运行Hadoop自带的WordCount示例程序。根据用户提供的引用内容，我得先整理出正确的步骤，并确保用户能够顺利操作。首先，用户可能需要了解如何准备输入文件、上传到HDFS、执行命令以及查看结果。同时，用户可能会遇到一些常见错误，比如路径问题或者JAR包不存在，这些也需要在回答中提到解决方案。 首先，我需要确认Hadoop的环境是否正确安装和配置。用户可能需要确保Hadoop已经启动，并且相关的服务如HDFS和YARN正在运行。接着，准备测试用的文本文件，例如myword.txt，然后将其上传到HDFS的指定目录，比如/data/input。根据引用[^1][^2][^3][^4][^5]，上传文件的命令是hadoop fs -put。 接下来，执行WordCount程序需要找到正确的JAR包路径。不同版本的Hadoop路径可能不同，例如引用中的路径是$HADOOP_HOME/share/hadoop/mapreduce，而JAR文件名也因版本而异，如hadoop-mapreduce-examples-2.10.1.jar或3.3.4版本。用户需要根据自己安装的Hadoop版本调整JAR文件名和路径，否则会遇到“jar不存在”的错误，如引用提到的。 然后，运行命令的格式通常是hadoop jar <jar路径> wordcount <输入路径> <输出路径>。需要注意的是输出目录不能预先存在，否则Hadoop会报错，所以用户可能需要先删除旧的输出目录。此外，用户可能没有权限访问某些目录，需要确保输出路径有写入权限，如引用[^5]中的/user/hive/output。 完成作业后，用户需要使用hadoop fs -cat或-get命令查看结果。同时，常见问题如JAR包路径错误、权限问题、输出目录已存在等，都需要在步骤中提醒用户，并给出解决方法，例如引用[^4]中提到的使用绝对路径或检查目录位置。 最后，生成相关问题需要考虑用户可能进一步的需求，比如不同输入格式的处理、提高性能的方法、结果保存到本地、监控作业状态以及处理大文件等。这些问题可以帮助用户更深入地使用Hadoop的WordCount程序。 总结步骤应该是清晰的，分点说明，并包含注意事项和示例代码，确保用户能够一步步跟随操作。同时，引用相关的问题案例，帮助用户避免常见错误，确保顺利完成测试。</think>### 分步说明：在Linux上运行Hadoop自带的WordCount程序 #### 1. 准备输入文件 - 创建测试文件 `myword.txt`（示例内容）： ```plaintext Hello Hadoop Hadoop MapReduce WordCount Hello Linux ``` - 确保文件保存在Linux本地路径（如 `/home/user/`） #### 2. 上传文件到HDFS - **创建HDFS输入目录** ```bash hadoop fs -mkdir -p /data/input ``` - **上传本地文件到HDFS** ```bash hadoop fs -put /home/user/myword.txt /data/input ``` 验证文件是否上传成功： ```bash hadoop fs -ls /data/input ``` #### 3. 运行WordCount程序 - **定位Hadoop示例程序JAR包** 根据Hadoop版本找到对应的JAR文件路径（需替换版本号）： ```bash cd $HADOOP_HOME/share/hadoop/mapreduce ls hadoop-mapreduce-examples-*.jar # 确认文件名 ``` 示例命令（假设版本为3.3.4）： ```bash hadoop jar hadoop-mapreduce-examples-3.3.4.jar wordcount /data/input /data/output ``` **参数说明**： - `/data/input`：HDFS输入目录 - `/data/output`：HDFS输出目录（必须不存在，否则会报错） #### 4. 查看运行结果 - **检查输出目录** ```bash hadoop fs -ls /data/output ``` - **查看结果文件** ```bash hadoop fs -cat /data/output/part-r-00000 ``` 预期输出示例： ```plaintext Hadoop 2 Hello 2 Linux 1 MapReduce 1 WordCount 1 ``` --- #### 注意事项 1. **JAR包路径问题** - 若报错 `jar not found`，使用绝对路径指定JAR文件，例如： ```bash hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /data/input /data/output ``` - 通过 `find / -name "hadoop-mapreduce-examples*.jar"` 搜索文件位置[^4] 2. **输出目录冲突** - 若输出目录已存在，先删除旧目录： ```bash hadoop fs -rm -r /data/output ``` 3. **权限问题** - 若提示权限不足，尝试添加HDFS目录权限： ```bash hadoop fs -chmod 777 /data/input ``` --- §§ 相关问题 §§ 1. 如何让WordCount程序处理多个输入文件？ 2. 如何优化Hadoop WordCount任务的性能？ 3. 如何将WordCount结果从HDFS下载到本地？ 4. 如何监控WordCount作业的运行状态？ 5. WordCount程序处理大文件（例如10GB）需要调整哪些参数？ --- : 引用自Hadoop文件操作指南 [^2]: 引用自Hadoop官方示例文档 [^3]: 引用自MapReduce开发手册 : 引用自Hadoop常见错误解决方案 : 引用自Hive与Hadoop集成案例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值