通过hadoop自带的demo运行单词统计

最新推荐文章于 2022-06-21 08:09:26 发布
最新推荐文章于 2022-06-21 08:09:26 发布
阅读量692 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LearnboC/article/details/76228545
本文介绍了使用Hadoop进行WordCount实例操作的具体步骤，包括文件创建、上传到HDFS、运行WordCount作业及查看结果等过程。通过这些步骤，读者可以了解如何在Hadoop上执行简单的文本处理任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1）mkdir input

2）cd  intput

3）echo “hello word” > file1.txt

4）echo “hello hadoop” > file2.txt

5）echo “hello mapreduce” >> file2.txt

6） more file2.txt

7） hadoop fs -mkdir  /wc_input

8） hadoop fs -ls /

9） hadoop fs -put ~/input/fi* /wc_input

10）hadoop fs -ls  /wc_input

11） hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wc_input /output

12）hadoop fs -ls /output

13）hadoop fs -cat /output/part-r-00000

执行结果截图：



MapReduce初体验——统计指定文本文件中每一个单词出现的总次数
大数据梦想家
11-13 6869
        相信小伙伴们看了小菌上一篇博客《什么是MapReduce(入门篇)》后,对MapReduce的概念有了更深的认知!本篇博客,小菌为大家带来的则是MapReduce的实战——统计指定文本文件中每一个单词出现的总次数。        &n...
一些hadoop入门小demo
渣渣
03-19 5485
lz最近在研究hadoop，刚在入门阶段，对一些高深的知识点还不在行，但是我希望能够通过自己点点滴滴的学习总结，在日复一日的过程中，逐渐积累相关的学习经验，从而能够逐步成为hadoop方面、spark甚至是大数据方面的专家。 那么只能先从一些小的demo开始学些，这里要介绍的一个小demo是在给定的一个文件中，求出每年的最高气温。 2014010114 2014010216 2014010
调用MapReduce对文件中各个单词出现次数进行统计-附件资源
03-02
调用MapReduce对文件中各个单词出现次数进行统计-附件资源
windows+idea运行hadoop demo（亲测）
影子
03-20 1251
下载hadoop：Apache Hadoop 下载下来之后以管理员身份解压： 配置环境变量： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoc...
hadoop入门【5】测试hadoop自带词频统计demo
万和IT教育
06-04 836
在了解了Hadoop中的存储组件HDFS之后，我们再来看一下Hadoop中另一个重要组件的计算MapReduce。HDFS搞定海量的存储，MapReduce搞定海量的计算。hadoop如其他优秀的开源组件一样，也提供了丰富的demo，下面我们就来看一下如何使用mapreduce自带demo进行词频统计。 1 系统、环境和约束条件 在CentOS7中安装hadoop并启动，作者的hadoop安装...
在hadoop调用mapreduce对文件中各个单词出现次数进行统计
starlrl的博客
12-16 1291
目录 一、安装环境 二、需求分析 1.创建hadoop账户 2.设置Hadoop密码 3.为Hadoop用户增加管理员权限 4.更新apt 5.安装vim 6.安装SSH、配置SSH无密码登陆 三、安装java环境 1.安装JDK 2.验证JDK安装情况 四、安装hadoop 五、Hadoop单机配置(非分布式) 六、Hadoop伪分布式配置 1.修改配置文件 2.格式化 NameNode 3.开启NameNode和DataNode守护进程 4.校验安装 七、
hadoop wordcount
yandao的博客
06-21 2341
wordcount
4 Hadoop-Mapreduce
PhoenixLuo·的博客
05-03 917
目录 4.4 MapReduce 4.4.1 MapReduce 介绍 MapReduce 设计构思 4.4.2 MapReduce 编程规范 4.4.3 WordCount(经典案例） Step 1. 数据格式准备 Step 2. Mapper Step 3. Reducer Step 4. 定义主类, 描述 Job 并提交 Job 4.4.4 MapReduce 运行模式 集群运行模式 本地运行模式 （一般做测试用） 4.4.5 MapReduce 分区 Step 1. 定义
调用MapReduce对文件中各个单词出现次数进行统计
Baiyu9527的博客
12-06 1391
调用MapReduce对文件中各个单词出现次数进行统计调用MapReduce对文件中各个单词出现次数进行统计一、安装环境二、需求分析1.创建hadoop账户2.设置Hadoop密码3.为Hadoop用户增加管理员权限4.更新apt5.安装vim6.安装SSH、配置SSH无密码登陆三、安装java环境1.安装JDK2.验证JDK安装情况3.安装 Hadoop3.1.3四、安装hadoop五、Hadoop单机配置(非分布式)六、Hadoop伪分布式配置1.修改配置文件2.格式化 NameNode3.开启Name
【Hadoop基础教程】5、Hadoop之单词计数
andieguo的专栏
03-04 8737
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版“Hello World”，该程序的完整代码可以在Hadoop安装包的src/example目录下找到。单词计数主要完成的功能：统计一系列文本文件中每个单词出现的次数，如下图所示。本blog将通过分析WordCount源码来帮助大家摸清MapReduce程序的基本结构和运行机制。
hadoop 单词出现次数统计实例 java 代码WorldCount
paparuazi的博客
08-18 753
WorldCount.class package com.hadoop.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.ha
Hadoop学习-编程实现单词计数
goodmentc的专栏
07-08 3291
概述 本问讲述在win10下，使用eclipse开发hadoop程序。 创建工程 创建map/reduce工程wordcount 过程略。 新建测试类MyWordCount package hdp.test; import java.io.IOException; import java.util.StringTokenizer; import org.apach...
大数据-运行Hadoop伪分布式实例
changhenshui1990的博客
07-19 1644
上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录： ./bin/hdfs dfs -mkdir -p /user/hadoop Shell 命令 接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/et
MapReduce 基础算法【单词共现算法】
To-nemy
08-11 1947
基本设计 设有一个英文语句： wearenotwhatwewanttobebutatleastwearenotwhatweusedtobe.wearenotwhatwewanttobebutatleastwearenotwhatweusedtobe.we\; are\; not\; what \; we\; want\; to\; be\; but\; at \; least\; ...
Hadoop的简单单词统计案例
Youda的博客
09-15 1705
Hadoop的简单单词统计案例 在Hadoop学习过程中，单词统计作为一个最基本的案例，非常简单实用，是每一个入门菜鸟必须要掌握的一个例子，可以通过这个简单的小案例了解Hadoop的基本运行原理和MapReduce程序的开发流程 引入相关Hadoop目录相关Jar文件： （hdfs(必须),common（必须），mapreduce（必须）） 引入配置文件： cor
Hadoop单词统计
_hello_world_的博客
08-12 1672
1. 本地创建文本文件 [root@s166 fantj]# mkdir input [root@s166 fantj]# cd input/ [root@s166 input]# echo "hello fantj" &gt; file1.txt [root@s166 input]# echo "hello hadoop" &gt; file2.txt [root@s166 input]#...
使用hadoop做单词统计
悟空
07-07 878
1.编写mapper函数 mapper.py import sys for line in sys.stdin: word_line = line.strip().split(' ') for word in word_line: print '\t'.join([word.strip(), '1']) 2.编写执行...
hadoop 自带示例wordcount 详细运行步骤
热门推荐
CV前沿
04-26 2万+
因为机器学习，接触到了数据挖掘；因为数据挖掘，接触到了大数据；因为大数据，接触到了Hadoop。之前有过hadoop的简单了解，但都是基于别人提供的hadoop来学习和使用，虽然也很好用 ，终究不如自己的使用起来方便 。经过这两天参考大量网上的经验，终于成功的搭建了自己的hadoop完全分布式环境。现在我把所有的安装思路、安装过程中的截图以及对待错误的经验总结出来，相信安装这个思路去做，hadoop
idea和spark
最新发布
12-30
### IntelliJ IDEA 和 Apache Spark 的集成及使用教程 #### 创建 Spark 项目 启动IntelliJ IDEA并创建一个新的项目。选择`File -> New Project`，在弹出窗口中选择`Scala`作为主要语言，并勾选`Create project from template`下的`SBT`选项来简化依赖管理过程[^1]。 #### 添加 Spark 依赖项 为了使项目能够利用 Spark 功能，在项目的构建文件 `build.sbt` 中添加必要的库依赖声明。对于版本控制，请确保指定的 Spark 版本与集群中的版本相匹配。例如： ```sbt name := "SparkDemo" version := "0.1" scalaVersion := "2.11.8" libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.2" ``` 这段代码定义了一个名为 SparkDemo 的 Scala 应用程序，并指定了所需的 Spark Core 库及其版本号[^2]。 #### 编写 Spark 程序 编写简单的 Spark 程序可以验证环境设置是否成功。下面是一个基本的例子，它计算给定文本字符串中单词的数量: ```scala package com.tipdm.sparkdemo import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Word Count").setMaster("local[*]") val sc = new SparkContext(conf) val lines = sc.parallelize(Seq("hello world", "hello spark")) val words = lines.flatMap(_.split(" ")) val wordCounts = words.map((_, 1)).reduceByKey(_ + _) println(wordCounts.collect().mkString(", ")) } } ``` 此代码片段展示了如何初始化 Spark 上下文以及执行简单转换操作以统计词频。 #### 构建和部署应用 完成编码之后，可以通过 SBT 插件直接从 IDE 内打包应用程序为 JAR 文件。右键点击项目根目录，选择`Make Module 'ModuleName'`编译源码；接着通过命令行工具 sbt 或者 Intellij 自带终端输入`sbt assembly`生成可分发 jar 包[^3]。 最后一步是在实际 Hadoop/Spark 集群上测试该 Jar 文件。这通常涉及到将作业提交到 YARN 资源调度器或其他类似的机制上来运行分布式处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值