Hadoop编程 实现统计单词词频并找出词频最高的单词（hadoop3.1.1 Centos7）

最新推荐文章于 2022-03-07 19:58:57 发布
最新推荐文章于 2022-03-07 19:58:57 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Jinyang_csdn/article/details/83511348
版权

 

不能盲目寻找一些技术博文来浏览，非常浪费时间，最靠谱的方式莫过于官方文档

hadoop3.1.1 运行词频统计的官方指导文档如下：

https://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

按照文档所提示的内容主要可分为以下几个步骤：

1.配置/etc/profile

export JAVA_HOME=/usr/java/default
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

2.将程序移至 hadoop-X.X.X目录下，打包成wc.jar ,执行以下命令

$ bin/hadoop com.sun.tools.javac.Main WordCount.java
$ jar cf wc.jar WordCount*.class

3.运行jar文件，后面为两文件在HDFS中的绝对路径，参数的设置取决于程序

 bin/hadoop jar wc.jar WordCount /user/joe/wordcount/input /user/joe/wordcount/output

 

Hadoop自带WordCount进行词频统计（mapreduce）
weixin_43322782的博客
12-10 8608
Hadoop自带WordCount进行词频统计 准备： 安装好的Hadoop 需要统计词频txt文件 step1 启动Hadoop cd /usr/local/hadoop ./sbin/start-all.sh 用jps命令查看是否开启成功 准备好需要统计词频的txt文件（也可以用filezilla传入Ubuntu） 链接: 如何用filezilla连接Ubuntu. 找到Hadoop文件所在位置 把需要计算词频的文件放在Hadoop文件下 step2 使用Hadoo
Hadoop大作业——单词个数统计
JXZKLJKA的博客
12-22 1249
目录 使用VirtualBox安装Ubuntu 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示
基于hadoop实现输出出现频率最高的20个词
01-06
《hadoop实战》中用老api写了TopOne，没有写topN，所以我就用新api，采用多job级联的方式实现了TopN，共大家参考。
初学Hadoop,统计Top10单词
iteye_6463的博客
08-31 698
课程明明叫SeachTechnology，本以为可以趁机好好学一下Lucene和Nutch，结果Project却是使用分布式计算框架Map/Reduce的开源项目Hadoop进行文档关键词的自动提取，算了，既来之则安之，都是Doug Cutting的作品啊。 Project要求是给定250个文章的摘要（trial data），通过三个步骤 1.preprocessing such as Par...
hadoop实例分析之WordCount单词统计分析
02-26 7987
WordCount单词统计分析  最近在网上看了hadoop相关资料以及单词计数的一个实例，结合网上的资料和自己的看法简要分析一下执行过程。 MyMapper.java package com.mpred;   import java.io.IOException;   import org.apache.hadoop.io.IntWritable; imp
【Hadoop】YouTube 视频数据集分析实验 (原理+过程+代码)
闻韶
04-02 3432
随着近年来视频拍摄设备与视频处理技术的高速发展，对网络上海量视频的分析越来越受到关注与重视。本实验希望通过使用 Hadoop 实验数据集 —— Dataset for "Statistics and Social Network of YouTube Videos" 进行简明的分析实验，从而加深对大数据分析的体会与认识、对 Hadoop、MapReduce 等的理解与应用。
大数据分析快速上手：掌握Hadoop生态系统关键技能
本文首先概述了大数据与Hadoop的背景，随后深入解析了Hadoop的核心组件，包括HDFS的工作原理、MapReduce编程模型以及YARN资源管理。接着，对Hadoop生态系统中的扩展组件进行了探讨，重点阐述了Hive、HBase和...
揭秘Hadoop生态系统：大数据分析的10个最佳实践
本文首先对Hadoop生态系统进行概览，然后深入解析了其核心组件，包括HDFS、MapReduce编程模型和YARN资源管理。接着，文章详细介绍了Hadoop集群的搭建、维护以及性能监控和调优，最后探讨了Hadoop生态系统工具在数据...
Hadoop数据流全解析：揭秘数据流动的秘密
![Hadoop数据流全解析：揭秘数据流动的秘密]...Hadoop，作为大数据处理领域的明星框架，通过其数据流处理能力在各个行业中展现出强大的生命力。数据流是指数据在Hadoop生态系统中流动的路径和处理
【大数据入门必备】：0基础快速掌握Hadoop核心原理
它由Apache软件基金会支持，并在Java语言中实现。Hadoop的设计初衷是能够可靠地运行在廉价硬件上，并提供高吞吐量的数据处理能力。Hadoop不仅包括了用于存储大数据的HDFS（Hadoop Distributed File Sys
Hadoop词频统计（完整版）
01-05
完整的词频统计MapReduce版本。基于Hadoop2.2.0，包含一个十万单词左右的测试文件。请参照 http://blog.csdn.net/zythy/article/details/17888439 获取详细解说。
hadoop 中文词频排序 top-k 问题
热门推荐
dengjiexian123的专栏
03-22 1万+
本人最近一直在hadoop领域，摸爬滚打，由于最近老是布置了一项作业：让统计一个文件中出现次数最高的单词。一看到题目我就想用hadoop来实现这个问题，由于有现成的wordcount框架，所以就在这之上进行程序的修改添加即可。     准备过程：     1、我去下载了金庸的小说全集，顺便分析分析，看他老人家笔下，谁的戏份更重。     2、由于是中文分词，所以必须要有一个中文分词器，找到了
【大数据实验】Mapreduce的应用：统计词频，输出出现次数最多的前十个单词
二琳爱吃肉的博客
12-11 5235
package sy; import java.io.IOException; import java.util.Collections; import java.util.Comparator; import java.util.HashMap; import java.util.LinkedList; import java.util.List; import java.util.Map; import java.util.Map.Entry; import org.apache.hadoop.co.
Hadoop 词频统计（续）
zythy的专栏
01-05 6999
基于Hadoop2.2.0的词频统计实例，最终结果按出现频率排序。
使用Hadoop和Spark实现TopN算法（1）——唯一键
ReyzeLamp的博客
10-02 879
0.简介 　　TopN算法是一个经典的算法，由于每个map都只是实现了本地的TopN算法，而假设map有M个，在归约的阶段只有M x N个，这个结果是可以接受的并不会造成性能瓶颈。 　　这个TopN算法在map阶段将使用TreeMap来实现排序，以到达可伸缩的目的。 　　当然算法有两种，一种是唯一键，就是说key的类型是唯一的（是指在比较的实际阶段），比如本篇就是唯一键的TopN
学习篇-Hadoop-MapReduce-词频统计
东东爱编码博客
04-30 3933
文章目录一、Hadoop-MapReduce-词频统计-Mapper二、Hadoop-MapReduce-词频统计-Reducer三、Hadoop-MapReduce-词频统计-Driver 一、Hadoop-MapReduce-词频统计-Mapper 简要说明：Maps input key/value pairs to a set of intermediate key/value pairs....
提交第一个Spark统计文件单词数程序，配合hadoop hdfs
weixin_34146410的博客
11-03 507
2019独角兽企业重金招聘Python工程师标准>>> ...
唐诗三百首出现最多的字是什么？大数据分析告诉你
wwwyuewww的专栏
03-07 6299
一个人要是长时间一直做一件事，思维容易固化。 就像那些从太空回来的宇航员，吃饭时容易丢开拿在手里的勺子。当勺子掉在地上时，哦，我已经回到地球了^_^。 所以，适当尝试新鲜事物，既是对大脑的放松，也是开阔思路的好机会，好方法。 那这次，博主尝试的新事物是什么呢？我们知道，大、物、移、智、云是近些年比较火的技术，具体来讲就是大数据、物联网、移动5G、人工智能、云计算。每一个都显得高大上。 所以，博主决定在其中选择一个来学习学习。其实，这些技术并不是割裂的，而是有内在的本质联系的，具体可参考博主的另一篇博
大数据Hadoop学习(4)-MapReduce经典案例-单词统计
LoongKK的博客
05-04 2643
大数据Hadoop学习(4)-MapReduce经典案例-单词统计 MapReduce单词统计案例（分别使用样例带的jar包和自己编写代码实现的jar包运行） 1. Hadoop经典案例——单词统计 1） 打开HDFS的UI界面，选择Utilities-Browse the file system可查看文件系统里的文件。使用-cat也可。 2） 准备文本文件，执行vi word.txt指令新建...
大数据实验三hdfs操作方法和基础编程实验的实验结果和结论
05-26
实验三：HDFS操作方法和基础编程实验 1. 实验目的 了解HDFS的基本操作方法和基础编程实验，掌握Hadoop文件系统的操作。 2. 实验环境 - 操作系统：Windows 10 - 虚拟机软件：VMware Workstation 15 Pro - 虚拟机操作系统：CentOS 7 - Hadoop版本：2.7.7 3. 实验步骤 3.1 HDFS操作方法 3.1.1 启动HDFS服务 在CentOS 7中打开终端，输入以下命令启动HDFS服务： ``` start-dfs.sh ``` 3.1.2 创建文件夹 HDFS中的文件夹称为目录，使用以下命令在HDFS中创建一个目录： ``` hadoop fs -mkdir /test ``` 3.1.3 上传文件 使用以下命令将本地文件上传到HDFS中的目录： ``` hadoop fs -put /opt/test.txt /test ``` 3.1.4 下载文件 使用以下命令将HDFS中的文件下载到本地： ``` hadoop fs -get /test/test.txt /opt ``` 3.1.5 查看文件 使用以下命令查看HDFS中的文件： ``` hadoop fs -ls /test ``` 3.1.6 删除文件 使用以下命令删除HDFS中的文件： ``` hadoop fs -rm /test/test.txt ``` 3.2 基础编程实验 3.2.1 实验要求 编程实现一个完整的Hadoop MapReduce程序，实现词频统计功能。 3.2.2 实验步骤 3.2.2.1 编写Mapper类 在Eclipse中新建一个Java项目，创建Mapper类，代码如下： ``` public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); context.write(word, one); } } } ``` 3.2.2.2 编写Reducer类 创建Reducer类，代码如下： ``` public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } ``` 3.2.2.3 编写Driver类 创建Driver类，代码如下： ``` public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(WordCountMapper.class); job.setCombinerClass(WordCountReducer.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 3.2.2.4 打包 右键项目，选择Export，选择JAR file，点击Next，选择要导出的项目和要导出的类，点击Next，选择要导出的JAR文件路径和文件名，点击Finish，即可生成JAR文件。 3.2.2.5 运行 使用以下命令在Hadoop集群上运行程序： ``` hadoop jar /opt/wordcount.jar WordCount /input /output ``` 其中，/input是输入文件所在的目录，/output是输出文件所在的目录。 4. 实验结果与结论 经过以上步骤，我们可以成功地完成HDFS操作方法和基础编程实验，从而掌握了Hadoop文件系统的操作。同时，我们还通过编写MapReduce程序实现了词频统计功能，进一步加深了对Hadoop的理解和应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值