Hadoop 2.6 - WordCount

最新推荐文章于 2018-07-13 15:22:31 发布
原创 最新推荐文章于 2018-07-13 15:22:31 发布 · 564 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文介绍如何使用Hadoop 2.6自带的WordCount示例程序，完成基本的MapReduce作业。WordCount程序能够对指定目录下的文件进行分词，并统计每个单词出现的频率。

说明

对于Hadoop而言，WordCount 相当于其他编程语言的Hello World。本文通过运行Hadoop 2.6 自带的 wordCount 实例，完成一次入门级的 Map Reduce 作业。WordCount 即通过 Map Reduce 对输入中的内容进行分词并计算每个单词出现的次数。

WordCount

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/wordcount

# /input/ : 输入路径，即对 HDFS 中 /input/ 路径下的所有文件进行WordCount
# /output/wordcount : 结果输出路径，如果 /output/wordcount 目录不存在，则会自动创建该目录； 同时，如果之前已经执行过一次该任务，下一次执行时要么删除之前的结果，要么更换输出路径。
# 否则，会报异常： FileAlreadyExistsException
Hadoop基础-如何提交应用程序-以wordcount为例
weixin_45675950的博客
10-18 420
一、基础知识 1.1 几个常见的HDFS操作命令 想要在Hadoop平台上运行MapReduce程序，首先要将数据从本地上传到HDFS集群上，通常涉及到表1-1中的几个命令。 表1-1本文要用到的几个HDFS命令 1.2 Hadoop 自带的例子程序 图1-1Hadoop-2.7.7自带的例子程序 在$HADOOP_HOME目录下执行命令： hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar 可显示Hadoop-2.7.7
hadoop-2.6.0-cdh5.16.2部署
qq_41301707的博客
11-29 1891
hadoop-2.6.0-cdh5.16.2部署 1.首先先下载tar包并解压 [hadoop@xkhadoop software]$ wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2/ [hadoop@xkhadoop software]$ ll 总...
Hadoop2.6运行wordcount
weixin_33749242的博客
02-28 206
Hadoop2.6运行wordcount1、启动hadoop[hadoop@master hadoop-2.6.0]$ ./sbin/start-all.sh[hadoop@master hadoop-2.6.0]$ jps21444 ResourceManager21301 SecondaryNameNode22072 Jps21117 NameNode[hadoop@sl...
CentOS 6.7 配置Hadoop 2.6.0 并运行WordCount
xiakeann0714的专栏
11-17 1647
首先配置好SSH免登陆和JAVA 1.8.0环境，在前面的博客中已经记录。 （1）在官网下载Hadoop 2.6.0 安装包 （2）解压文件到 /usr/local 文件夹下： tar -zxvf hadoop-2.6.0.tar.gz （3）将hadoop 文件夹加入hadoop组中 （4）配置hadoop 运行环境，修改profile文件
Hadoop2.6.4运行Wordcount程序
w137960060的博客
09-19 845
Hadoop2.6.4运行MapReduce程序环境准备 本地jdk版本与hadoop集群的版本保持一致 hadoop的jar包要全部导入 MapReduce代码实现 本代码演示 wordcount程序。 MapReduce代码实现并不难，这里要编写3个类，分别是WordcountMapper类、WordcountReducer类和WordcountDriver驱动类，前面两个类分别实现相
Ubuntu14安装配置Hadoop2.6.0（完全分布式）与 wordcount实例运行
PorryLee
01-08 2718
我的环境是：Ubuntu14+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 为了方面配置，我在每台机器上都使用了hadoop用户来操作，这样做的确够方便。 结点信息：(分
hadoop2 wordcount 执行输出解释
后知后觉的it路
01-13 228
  0 每一行执行一次map函数   每个组调用一次reduce函数   1 代码：  这里主要看main函数写法 注意和hadoop1写法不同处的对比  使用ant运行     运行集群参看: hadoop2 搭建自动切换的ha集群 yarn集群      注意 Mapper  Reducer类以及 map()  reduce() 方法对应的Context的包的引用      ...
spark-1.3.1-bin-hadoop2.6.tgz
03-26
Spark-1.3.1-bin-hadoop2.6.tgz是一个针对Linux和Windows系统的安装包，包含了Apache Spark 1.3.1版本以及与Hadoop 2.6兼容的依赖。这个压缩包为用户提供了在本地或集群环境中搭建Spark计算平台的基础。 1. **Spark...
hadoop.dll,winutils.exe hadoop2.6
12-20
在Hadoop生态系统中，`hadoop.dll`和`winutils.exe`是Windows环境下运行Hadoop时必不可少的组件，尤其在2.6版本中。本文将深入探讨这两个文件的作用，以及如何解决`wordCount`示例中出现的`NullPointerException`...
spark1.3与hadoop2.6环境配置
05-07
Spark 1.3 和 Hadoop 2.6 环境配置是大数据处理领域中的重要环节，它们共同构建了一个高效、可扩展的数据处理框架。Spark 是一个快速、通用且可扩展的大数据处理引擎，而 Hadoop 则是分布式存储和计算的基础平台。在...
hadoop2.6.5运行wordcount实例
diannao5430的博客
01-04 291
运行wordcount实例 在/tmp目录下生成两个文本文件，上面随便写两个单词。 cd /tmp/ mkdir file cd file/ echo "Hello world" > file1.txt cp file1.txt file2.txt 在hadoop平台中新建 /input 目录，这里不是系统的 / 目录。 cd /usr/local/hadoop-2.6.5 ./b...
Hadoop2.6.0版本MapReudce示例之WordCount（一）
weixin_34348805的博客
04-18 270
一、准备测试数据 1、在本地Linux系统/var/lib/hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt，文件列表及各自内容如下图所示： 2、在hdfs中，准备/input路径，并上传两个文件file1.txt和file2.txt，如下图所示： ...
hadoop自带例子wordcount的具体运行步骤
xiaokang06的专栏
03-17 1万+
1.在linux系统中，所在目录“/home/kcm”下创建一个文件夹input [ubuntu@701~]$ mkdir input 2.在文件夹input中创建两个文本文件file1.txt和file2.txt，file1.txt中内容是“hello word”,file2.txt中内容是“hello hadoop”、“hello mapreduce”(分两行)。 [ubuntu@701
Hadoop下WordCount开发实战（附源码）
叶小刀
07-13 4646
首先安装Eclipse和hadoop的插件，打开eclipse后看到项目侧会看到DFS开启Hadoop，单击右下角的如下图中的小象编辑DFS的连接配置信息点击finish右击DFS刷新，会看到hdfs下的目录：++++++++++++++++++++++++++++++++++++++++++++++++++++右击File新建项目：输入项目名WordCount将所安装的hadoop下的share...
hadoop-2.6.0如何编译，运行WordCount 程序
是夜色太荒芜的专栏
02-01 2155
初学者写，只为备录 MAC系统下：（可能linux也差不多） 1:编译程序 ＊hadoop-2.6.0（可能2以上一样）的编译环境core包被分散在了hadoop-2.6.0/share文件下 javac -classpath $HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar:$HADOOP_HOME/share/hadoop
eclipse中运行Hadoop2.6.0的WordCount例子
lanhaier0591的博客
01-04 385
我的电脑是64位的Win10，之前eclipse的DFS Location已经可以显示hdfs的文件，然后新建一个Map/Reduce项目，把WordCount.java拷贝到项目中，设置好main参数后运行，出现了这个问题： Exception in thread "main" java.lang.NullPointerException       at java.lang.Process
【Mapreduce】从代码上解决Output directory already exists错误，避免每次调试都要手动删除输出文件夹
热门推荐
编程记录，亲测有效
01-28 3万+
Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误： Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output director
运行hadoop自带wordcount例子
午后大肥猫的博客
09-07 1万+
运行hadoop自带wordcount例子 GSS initiate failed
Hadoop 从 hdfs 中拷出文件权限不够
Daniel is coding
03-22 8311
问题描述使用 -get 命令从 hdfs 中拷出文件时，提示权限不够，如下：hadoop@localhost:/usr/local/hadoop$ hadoop fs -get /input/LICENSE.txt /home/daniel/tmp/ # get: /home/daniel/tmp/LICENSE.txt._COPYING_ (权限不够)问题分析可能出现问题的原因有三方面
hadoop自带的wordcount程序
最新发布
09-22
Hadoop自带的WordCount程序是学习Hadoop编程的经典示例，可帮助初学者快速了解Hadoop的使用和MapReduce编程模型。有人以该程序为起点记录Hadoop学习过程，在粗略看完《Hadoop实战》对Hadoop编程有大致了解后，便从该程序开始深入学习 [^1]。 运行WordCount任务的命令有多种形式。例如 `bin/hadoop jar /usr/hddemo/wordcount.jar 包名.WordCount input output` ，其中 `input` 指定执行map任务时的数据源所在目录，`output` 是指定reduce任务执行完后将结果输出的目录；2.6以后的版本不用指定类名，可直接用 `bin/hadoop jar /usr/hddemo/wordcount.jar input output` 。Hadoop自带的运行WordCount例子的jar包在 `/share/hadoop/mapreduce/hadoop-mapreduce-example.jar` ，使用该包时命令可写为 `hadoop jar /home/yanzefeng/apps/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /input /output/wordcount1` 。也可以使用 `$hadoop jar /home/hadoop/hadoop/share/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output` ，不过要根据自己的Hadoop版本和路径相应调整 [^2][^3]。 基本流程方面，可在Linux的一个input目录下创建两个文件，如 `echo "Hello world Hello me! cwq solo" >test1.txt` 和 `echo " Hello world Hello you! solo" >test2.txt` ，然后通过 `hadoop fs -put /input/ /input` 将文件上传，最后运行WordCount命令进行计算。运行完成后，可使用 `hdfs dfs -cat /output/wordcount1/*` 查看文件内容 [^2]。 ```bash # 示例运行命令 hadoop jar /home/hadoop/hadoop/share/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值