hadoop 学习(四) wordcount简单操作

在dfs上创建目录

hdfs dfs  -mkdir -p /user/bjjh/input

将本地文件上传至dfs

bin/hdfs dfs  -put wcinput/wc.input /user/bjjh/input

文件内容

lol lol
dnf
xxx xxx

使用wordcount分析文件
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/bjjh/input /user/bjjh/output
 

分析结果

2fed5440991c38756247eff475fd7210bd6.jpg

命令  hdfs dfs -cat /user/bjjh/output/p*
dnf     1
lol     2
xxx       2
执行过程中 yarn页面会有进度提示  执行结束后可以看见之前执行的任务信息   yarn地址   ip:8088

889c1421dca1cff3cd07b7833b28fedd35b.jpg

 

 

 

 

 


 

 

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/u/3618851/blog/3075866

Hadoop示例程序WordCount源码学习 快两个月没写博客了,找工作真心伤不起 阅读详情

相关推荐

Hadoop之WordCount源代码

一、旧版WordCount源代码 //package org.apache.hadoop.examples; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.had

GarfieldEr007的专栏 2908

wordcount,常见操作

统计命令 #hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.64.jar wordcount /user/root/email.txt /user/output 之后查看玩的的统计, hdfs dfs -ls /user/output hadf dfs -cat /user/outp...

Jiashilin 220

Hadoop运行示例WordCount

一、运行Hadoop自带的hadoop-examples.jar报错 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 解决办法: 1.进入hdfs su - hdfs 2.查看目录权限 hdfs dfs -ls / 3.修改权限 hadoop fs -chmod 777 /user 执行结果: 首先创建input文件夹 hdfs dfs -mkdir -p /user/hdf

Horsleyli的博客 2550

十四、简单WordCount案例编写

        前言:如果需要在本地测试MR程序需要安装hadoop,就跟本地安装jdk一个道理,JAVA_HOME变成HADOOP_HOME,最后在cmd测试输入hadoop命令看安装结果,是不是跟jdk配置一样 hadoop包:链接:https://pan.baidu.com/s/1bPlkKnYLXsfOjMtcK1Nq8g 密码:nzqg 一、计算任务分析 1、需求:统计指定文本文件里面每个单词出现的次数。 文件内容如.

风子的博客 1058

Hadoop学习(四)正式运行hadoop(自己写一个WordCount)

经过几天的学习,学好了理论,搭建好了环境,终于可以开始动手写代码了,这里为写的就是被誉为hadoop的hello world的WordCount。 在这里我使用了eclipse的hadoop插件来创建hadoop项目,个人比较推荐这种方式,不仅运行测试起来简单,管理HDFS也是非常方便。这里附上一篇hadoop插件的安装教程:https://blog.youkuaiyun.com/xummgg/articl...

weixin_40535323的博客 1445

入门Hadoop的WordCount程序

本篇文章主要说两部分:简单介绍MapReduce的工作原理;详细解释WordCount程序。

bigfacesafdasgfewgf 1749

一个简单的WordCount程序

package com.demo.hadoop.mapreduce; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import o...

还记得那个追风少年吗 428

Eclipse执行Hadoop WordCount

前期工作 我的Eclipse是安装在windows下的,通过Eclipse执行程序连接Hadoop,需要让虚拟机的访问地址和本机的访问地址保持在同一域内,虚拟机的地址更改前面的文章介绍过了,如果想改windows本机ip地址,打开“网络和共享中心“,点击左侧菜单”更改适配器设置“,选择相应连接网络进行IpV4属性地址修改即可。我虚拟机地址为1

红苹果乐园 2943

使用HDFS完成一个简单的wordcount程序

wordcount业务需要的执行步骤 在hdfs中读取文件:一次读取一行 调用一个方法对每一行进行业务处理 将处理的结果放入一个缓存当中 最后将缓存中的统计结果输出到HDFS中的结果文件内 HDFS的客户端 //可以使用反射等方式从配置文件读取应该初始化的Handler的类型 //或者直接初始化 WordCountHandler wcHandler = new WordCountHandler(); //获取文件系统 FileSystem fs = FileSystem.get(new URI("

weixin_42427338的博客 667

YOLOv11 改进策略 | HWD:引入 Haar 小波变换,减少信息丢失

在卷积神经网络(CNN)中,下采样(Downsampling)是降低特征图分辨率、扩大感受野的关键操作,通常通过最大池化(MaxPool)或步长为 2 的卷积(Strided Convolution)实现。然而,这些方法在降低分辨率的同时,往往会丢失图像中的高频细节信息(如边缘、纹理)和精确的空间位置信息,这可能对后续特征提取和目标检测精度产生不利影响,尤其是对于小目标和需要精细定位的任务。

走向CTO的路上... 1791

攻防世界 misc题GFSJ1129-【您看我还有机会吗?】

我们发现了隐藏内容,一开始我以为那个英文就是flag,提交后发现不对,然后我想只有一张图片然后图片上的隐写内容又不是flag,那必定还有什么文件被隐藏了,于是我们打开VMware并启动Ubuntu,使用binwalk分析一下有没有隐藏文件,我们要在Terminal中分析,如下。我们发现里面有一个flag.txt文件,我们尝试提取里面内容,但发现又要密码,我们想起了之前图片上的隐藏内容,我们将那段英文输入(包括空格和符号,在VMware中输入密码不会有显示,你看到的就像没输入一样),然后我们看到如下。

大数据专业,关注 AI 安全与数学建模。记录 Web 安全、对抗攻击、隐私保护等安全实践,以及从经典模型到智能方法的建模思考。用数学思维理解 AI,用 AI 方法反哺安全与建模。 1095

WordCount的理解与MapReduce的执行过程

WordCount的入门 WordCount是最常见、最基本的一个需求,例如进行词频统计、用户访问记录统计。如果数据量非常小的情况下,使用单机、批处理的方式就可以很快得到结果。但是如果数据量非常大,数据量可能是10G、100G等等。这种情况下使用单机、批处理的方式就非常低效率。所以这个时候就需要借助于分布式的思想进行处理——使用集群进行处理。就拿词频统计来说,处理的过程步骤如下图。 Input就是将需要进行处理的数据输入,输入后会经过Spliting操作,将输入的数据进行切分,将众多的数据划分成不同

SunRains 1828

大麦APP抢票协议分析:从‘掌密网络’代码看移动端API安全防护

本文深度解析了大麦APP抢票协议的安全防护体系,重点分析了'掌密网络'代码中体现的动态签名、设备指纹和人机验证等关键技术。文章详细介绍了大麦APP如何通过多层次API安全防护应对抢票压力,包括参数加密、请求头部设计和异常处理机制,为移动应用开发者提供了安全实践建议。

weixin_28740299的博客 290

hadoop简单实例-WordCount

开发环境:window7 如果不知道怎么在window环境下安装hadoop,请参考教你Windows平台安装配置Hadoop2.5.2(不借助cygwin) 本实例先贴源代码,再讲解步骤。 代码如下:package test; import java.io.IOException; import java.util.StringTokenizer;import org.apache.had

码蚁君 9397

使用模拟工具Modbus poll 和PLC 通讯

使用模拟工具Modbus poll 和PLC 通讯 简介 Modbus Poll 是一个模拟Modbus 主站的工具。不用在现场调试,在家也能使用,方便快捷的调试验证程序。使用它可以和PLC进行Modbus TCP /RTU 通讯等功能,接下来为大家介绍使用Modbus Poll 和 PLC 进行 Modbus TCP 通讯。 组态PLC PLC作为我们的从站和Modbus Poll 通讯,那我们组态一个PLC。 创建通信DB 创建一个DB块,在数据类型处输入:TCON_IP_V4

weixin_61398412的博客 1万+

三分钟解决RKNN-Toolkit2安装失败:从模块报错到成功验证的完整记录

本文详细记录了RKNN-Toolkit2安装失败的解决方案,从环境配置到模型转换实战,特别针对常见的'No module named 'rknn''报错提供了完整修复指南。通过YOLOv8模型转换示例,展示了从ONNX到RKNN格式的完整流程,并分享了在RK3588芯片上的部署优化技巧。

html8的博客 264

hadoop wordcount

wordcount

yandao的博客 2816

LVGL 实战:虚拟列表与对象复用机制在嵌入式GUI中的性能优化

本文深入探讨LVGL虚拟列表与对象复用机制在嵌入式GUI中的性能优化实践。通过复用机制动态管理UI对象,大幅降低内存占用,实现无限滚动列表的流畅体验。文章详细解析核心算法、内存优化策略及跨平台适配技巧,帮助开发者在资源受限设备上高效处理大量数据展示。

rice5的博客 1106

Hadoop实现WordCount详解

通过本文的介绍,我们了解了如何使用Hadoop实现WordCount程序。从环境搭建到程序编写,再到作业的提交和运行,每一步都是实现大数据处理的关键。WordCount程序虽然简单,但它是理解Hadoop分布式计算框架的一个很好的起点。版权声明:本博客内容为原创,转载请保留原文链接及作者信息。参考文章IDEA运行WordCount程序(详细步骤)Hadoop实现WordCount(从零开始)

ning的博客 2274

74、光谱成像在电子内窥镜及色彩理论中的应用

本文探讨了光谱成像在电子内窥镜中的应用及其与色彩理论的深度融合。通过分析FICE技术、色彩再现模型及胃黏膜光谱测量,展示了光谱信息在提升医学诊断准确性方面的潜力。同时,系统阐述了颜色的物理属性、标准表示方法、同色异谱现象、颜色测量技术(密度法与比色法)以及CIELAB等均匀颜色空间的构建原理。结合流程图与对比表格,梳理了从光信号获取到颜色处理的完整路径,并展望了人工智能与新型视觉模型在未来医疗成像与色彩科学中的发展方向。

g2h3i4j5的博客 152

【Windows Server 2019】发布服务器 | 远程桌面服务的安装与配置 Ⅰ——理论,实验拓扑和安装基于RemoteAPP的RDS

博客介绍了Windows Server中远程桌面服务的理论,实验拓扑以及基于RemoteAPP的RDS安装。博文介绍了如何在Windows Server上部署发布服务器。

VMware, Windows, Linux, Cisco, Container, Kubernetes, Kali 6129

hadoop wordcount 代码

写个wordcount,刚入门的同学可以参考一下。 直接贴程序了 package WordCount; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org

架构师思考实践 1988

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Hadoop实现WordCount(从零开始)

非常简单的手把手教学

qq_54003651的博客 4069

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Hadoop 自带WordCount 操作步骤

运行一个wordcount 任务的命令:bin/hadoop jar /usr/hddemo/wordcount.jar 包名.WordCount input output 说明:input 指定的是执行map任务是的数据源所在目录,output 是指定reduce任务 执行完后将结果输出的目录 data在配置文件配完后是不需要见这个目录的 name目录是 执行 hadoop

晴天的专栏 2876

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

hadoop自带示例wordcount

这里我们就以LICENSE.txt文件作为输入源文件,可以查看下license内容:$ cat LICENSE.txt ,我们统计下里面各个单词出现的次数,是不是有点小激动。这是小编自学hadoop的第一个示例程序,虽然简单,但是通过自己对hadoop文件系统HDFS和hadoop的shell命令的了解。目录,命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整)进入hadoop安装目录:$cd /home/hadoop/hadoop/...

m0_67401382的博客 1372

Hadoop自带wordcount实例

Hadoop自带wordcount实例 Hadoop环境搭建成功后,运行一下wordcount实例 1、终端切换到root:su- 2、启动HDFS,如果是第一次用的话,先格式化namenode: hdfs namenode -format(格式化一次就行,总格式化会导致集群id不一致,会报错,不要问我咋知道的????) 3、在HDFS创建目录:/data/wordcount存放本地上传的文件,/output目录存放MapReduce任务的结果输出文件。 4、在本地建一个文件,输入点单词,然后查看一下,

weixin_41827712的博客 1695
上一篇: hadoop 学习(三) 配置启动 yarn
下一篇: hadoop 伪分布式执行wordcount失败
cheqiang4607
博客等级 码龄10年 1粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值