集群使用初步

hadoop之Wordcount实验解析 一、概述单词计数是最简单也最能体现MapReduce思想的程序之一,单词计数的主要功能在于:统计一系列文本文件总每个但系出现的次数。本次实验预通过分析WordCount源码来进一步明确MapReduce程序的基本结构和运行机制。二、环境准备系统环境:Ubuntu 16.0软件环境:Java 1.8.0 Hadoop 3.0三、map和reduce工作原理简介:从HDFS内部看,一个文件储存... 阅读详情
5 集群使用初步

5.1 HDFS使用

1、查看集群状态

命令:   hdfs  dfsadmin  –report

 

 

可以看出,集群共有3个datanode可用

也可打开web控制台查看HDFS集群信息,在浏览器打开http://hdp-node-01:50070/

 

 

2、上传文件到HDFS

² 查看HDFS中的目录信息

命令:   hadoop  fs  –ls  /

 

 

 

² 上传文件

命令:   hadoop  fs  -put  ./ scala-2.10.6.tgz  to  /

 

 

 

² 从HDFS下载文件

命令:  hadoop  fs  -get  /yarn-site.xml

 

 

5.2 MAPREDUCE使用

mapreduce是hadoop中的分布式运算编程框架,只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序

5.2.1 Demo开发——wordcount

1、需求

从大量(比如T级别)文本文件中,统计出每一个单词出现的总次数

 

2、mapreduce实现思路

Map阶段:

a) 从HDFS的源数据文件中逐行读取数据

b) 将每一行数据切分出单词

c) 为每一个单词构造一个键值对(单词,1)

d) 将键值对发送给reduce

 

Reduce阶段:

a) 接收map阶段输出的单词键值对

b) 将相同单词的键值对汇聚成一组

c) 对每一组,遍历组中的所有“值”,累加求和,即得到每一个单词的总次数

d) 将(单词,总次数)输出到HDFS的文件中

 

 

1、 具体编码实现

(1)定义一个mapper类

//首先要定义四个泛型的类型

//keyin:  LongWritable    valuein: Text

//keyout: Text            valueout:IntWritable

 

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

//map方法的生命周期:  框架每传一行数据就被调用一次

//key :  这一行的起始点在文件中的偏移量

//value: 这一行的内容

@Override

protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

//拿到一行数据转换为string

String line = value.toString();

//将这一行切分出各个单词

String[] words = line.split(" ");

//遍历数组,输出<单词,1>

for(String word:words){

context.write(new Text(word), new IntWritable(1));

}

}

}

 

(2)定义一个reducer类

//生命周期:框架每传递进来一个kv 组,reduce方法被调用一次

@Override

protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

//定义一个计数器

int count = 0;

//遍历这一组kv的所有v,累加到count中

for(IntWritable value:values){

count += value.get();

}

context.write(key, new IntWritable(count));

}

}

 

(3)定义一个主类,用来描述job并提交job

public class WordCountRunner {

//把业务逻辑相关的信息(哪个是mapper,哪个是reducer,要处理的数据在哪里,输出的结果放哪里。。。。。。)描述成一个job对象

//把这个描述好的job提交给集群去运行

public static void main(String[] args) throws Exception {

Configuration conf = new Configuration();

Job wcjob = Job.getInstance(conf);

//指定我这个job所在的jar包

// wcjob.setJar("/home/hadoop/wordcount.jar");

wcjob.setJarByClass(WordCountRunner.class);

 

wcjob.setMapperClass(WordCountMapper.class);

wcjob.setReducerClass(WordCountReducer.class);

//设置我们的业务逻辑Mapper类的输出key和value的数据类型

wcjob.setMapOutputKeyClass(Text.class);

wcjob.setMapOutputValueClass(IntWritable.class);

//设置我们的业务逻辑Reducer类的输出key和value的数据类型

wcjob.setOutputKeyClass(Text.class);

wcjob.setOutputValueClass(IntWritable.class);

 

//指定要处理的数据所在的位置

FileInputFormat.setInputPaths(wcjob, "hdfs://hdp-server01:9000/wordcount/data/big.txt");

//指定处理完成之后的结果所保存的位置

FileOutputFormat.setOutputPath(wcjob, new Path("hdfs://hdp-server01:9000/wordcount/output/"));

 

//向yarn集群提交这个job

boolean res = wcjob.waitForCompletion(true);

System.exit(res?0:1);

}

 

 

 

 

5.2.2 程序打包运行

1. 将程序打包

2. 准备输入数据

vi  /home/hadoop/test.txt

Hello tom

Hello jim

Hello ketty

Hello world

Ketty tom

在hdfs上创建输入数据文件夹:

hadoop   fs  mkdir  -p  /wordcount/input

将words.txt上传到hdfs上

hadoop  fs  –put  /home/hadoop/words.txt  /wordcount/input

 

 

 

3. 将程序jar包上传到集群的任意一台服务器上

 

4. 使用命令启动执行wordcount程序jar包

$ hadoop jar wordcount.jar cn.itcast.bigdata.mrsimple.WordCountDriver /wordcount/input /wordcount/out

 

 

5. 查看执行结果

$ hadoop fs –cat /wordcount/out/part-r-00000

 

【大数据】Hadoop WordCount示例 条件 采用64位Oracle Linux 6.4, JDK:1.8.0_131 64位, Hadoop:2.7.3 Spark集群实验环境共包含3台服务器,每台机器的主要参数如表所示: 服务器 HOSTNAME IP 功能 spark1 spark1 92.16.17.1 NN/DN/RM Master/Worker spark2 spark2 92.16.17.2 DN/NM/Worker spark3 spark3 92.16.17.3 DN/NM/Worker 过程 首先搭 阅读详情

相关推荐

hadoop学习笔记:运行wordcount对文件字符串进行统计案例

在开头跟大家分享的时候我就说,面试我是没有做好准备的,全靠平时的积累,确实有点临时抱佛脚了,以至于我自己还是挺懊恼的。(准备好了或许可以拿个40k,没做准备只有30k+,你们懂那种感觉吗)如何准备面试?1、前期铺垫(技术沉积)程序员面试其实是对于技术的一次摸底考试,你的技术牛逼,那你就是大爷。大厂对于技术的要求主要体现在:基础,原理,深入研究源码,广度,实战五个方面,也只有将原理理论结合实战才能把技术点吃透。

weixin_57992300的博客 1305

数据挖掘实验:使用 Hadoop 实现 WordCount 应用

数据挖掘实验:使用 Hadoop 实现 WordCount 应用

ProgramNovice的博客 9159

避坑指南:ArcGIS 做莫兰指数分析,你的‘空间关系概念化’选对了吗?

本文深入解析了ArcGIS中莫兰指数分析的关键参数——'空间关系概念化'的选择策略。通过对比反距离法、固定距离法和K最近邻法的适用场景与影响机制,帮助研究者避免常见误区,提升空间自相关分析的准确性和解释力。特别针对全域莫兰指数和局域莫兰指数的计算差异提供了实用建议。

weixin_30872157的博客 816

Hadoop集群WordCount详解

1.1 MapReduce编程模型MapReduce采用”分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是”任务的分解与结果的汇总”。在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个是TaskTracker,JobTracker是用于调度工作的,TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。

m0_67402125的博客 1992

TMS320F280039 CMD文件配置避坑指南:从.map文件看懂内存分配与溢出排查

本文详细解析了TMS320F280039芯片的CMD文件配置问题,通过.map文件分析内存分配与溢出排查。文章提供了实用的诊断技巧和解决方案,帮助开发者有效应对段溢出、地址重叠和栈堆冲突等常见问题,优化DSP程序的内存管理。

weixin_29168813的博客 449

告别CMake依赖!在Visual Studio 2022中直接配置VTK 9.4开发环境(附完整项目示例)

本文详细介绍了如何在Visual Studio 2022中直接配置VTK 9.4开发环境,无需依赖CMake。通过图文教程和完整项目示例,帮助C++开发者快速集成VTK库,简化开发流程,提升工作效率。特别适合科学可视化任务的开发者。

weixin_26804345的博客 416

3.Window下riak集群搭建与初步使用

发现riak文件存在,但start报错,查阅资料后发现,新版Riak的启动命令为daemon。4. 对clone的riak文件夹内进行编译(这一步前要安装Erlang)1. 通过 HTTP API 向dev1、dev2节点写入数据。1. 将 dev2 和 dev3 加入 dev1 的集群。5. 查找dev1、dev2、dev3的端口号。再次输入启动命令,此时第二个和第三个节点启动。6. 启动第一个节点(dev1下)8. 依次开启dev2和dev3。2. 查看集群计划(预检查)3. 提交变更(实际执行)

Zg_ln的博客 204

大模型-高通qnn基础

提供较低级别、高度可定制的统一API,通过单独的库加速所有AI加速器核心上的AI模型, 可以直接用于针对特定的加速器核心或从流行的运行时(包括Qualcomm Neural Processing SDK、TensorFlow Lite和ONNX运行时)委派工作负载。一个支持异构计算、系统级配置的一体化SDK,旨在将AI工作负载引导到我们平台上的所有加速器核心。为开发人员提供灵活性,包括核心间协作支持和其他高级功能。是一个为训练好的神经网络模型提供高级量化和压缩技术的库。

点滴的岁月 4102

2.window下redis集群搭建与初步使用

注意:Redis5.0之前使用redis-trib.rb作为创建集群的命令,基于ruby语言实现,依赖于ruby环境。redis5.0之后使用redis-cli作为创建集群的命令,基于c语言实现,因为redis本身是基于c实现的,所以5.0之后的集群搭建不依赖其他环境,相比于5.0之前的版本,搭建简易了许多。一定要注意Redis的版本!

Zg_ln的博客 393

射频工程师必须了解的S参数四项要点

本文围绕单端 6 英寸走线的 S 参数展开深入分析,核心包含四项关键要点:低频下导线电学长度远小于信号波长,S11 呈大负分贝值、S21 接近 0 分贝;端口与走线的阻抗不匹配引发反射叠加,形成 S11 首个峰值(对应传输线四分之一波长频率);S21 相位可作为一致性检查依据,其 90° 相位差与 S11 峰值吻合;理想建模中 S11 峰值随频率上升因损耗下降,实际测量因连接器等阻抗不连续性,S11 会出现振荡上升。分析依托 Keysight ADS 工具与电磁求解器原理,为 S 参数解读提供科学支撑。

一只豌豆象的博客 1286

华为OD机试 双机位C卷:微服务的集成测试 (C/C++/Py/Java/JS/Go)

华为OD机试 双机位C卷 :微服务的集成测试 ,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试 微服务的集成测试 , 华为OD 微服务的集成测试

qq_45776114的博客 2066

K8S集群的使用初步-推送镜像到私有化仓库

K8S集群的使用初步 将镜像推到私有化仓库 STEP 1: 添加不安全的http Registry 如果不配置不安全的http Registry,那么在docker push的时候默认使用https协议,由于缺少证书,将会报错。配置如下: vim /etc/docker/daemon.json # 修改配置如下所示: { "insecure-registries": ["ip...

sd__dreamer的专栏 1673

OTFS 消息传递算法信号检测【附matlab代码详解】

OTFS 消息传递算法方面的一些浅浅理解。

Cuby的博客 4014

08 Hadoop集群初步使用

1.HDFS使用 1、查看集群状态,命令: hdfs dfsadmin –report 可以看出,集群共有3个datanode可用 也可打开web控制台查看HDFS集群信息,在浏览器打开http://hdp-node-01:50070/ 2、上传文件到HDFS 查看HDFS中的目录信息,命令: Hadoop fs –ls / 上传文件,命令: Hadoop fs -put ./ s...

阿甘兄 473

某易将军令口令纯算法还原py篇

算法开源,将军令口令算法。希望官方多多更新吧

任雪飘的博客 3916

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

青云MR集群初步使用指南

青云和阿里云一样,都是云服务提供商,能为我们提供强大的云端数据存储和处理能力,同时也有很多针对特定应用场景的产品解决方案,收费也合理。接下来我们介绍一下第一次如何使用青云提供的qing MR集群,如何从本地上传数据到集群中?如何运行Spark应用程序?如何使用xshell进行远程登陆? 目录青云MR介绍申请青云MR上传数据到集群中运行Spark程序配置ssh远程登陆 青云MR介绍 MR就是将主流的大数据存储和处理的技术进行了整合集成,并部署在云端,方便用户随时随地使用。 申请青云MR 登陆青云账号,选择

集腋成裘,聚沙成塔 850

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

quartz及其集群的初步了解和使用

最近公司项目中使用了定时的功能,并且定时功能并发量大,传统的java的timer以及timertask已经不适合了,在网上找了些资料,最后觉得quartz非常合适。首先先贴出来我的配置吧quartz使用2.x版本,毕竟新版本功能各方面比较强大引入的jar包                &lt;!-- https://mvnrepository.com/artifact/org.quartz-sc...

qq_34239939的博客 275

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

redis: 初步使用&集群搭建

redis命令行 idea 读写redis redis集群搭建 下载redis最新版,中文官网 http://www.redis.cn/download.html wget http://download.redis.io/releases/redis-5.0.0.tar.gz tar xzf redis-5.0.0.tar.gz cd redis-5.0.0 make 2,redis集群搭...

eyeofeagle的博客 891

Hadoop 集群搭建

Hadoop 集群搭建 1.基础集群环境准备 Hadoop 集群环境安装 集群初步使用

Sherlock的博客 360

高可用集群2 HA的实现方案和heartbeat初步使用

HA集群的开源实现方案 Message层 1、hearbeat:主要有3个版本,v1和v2这2个版本和CRM集成在一起,v3版中CRM从heartbeat中独立出去,叫做pacemaker 2、corosync:OpenAIS为了展示一个集群应该具有什么样的功能而研发的实验性质的项目,但随着发展受到更多的青睐,最后从OpenAIS中独立出来 3、cman:RedHat研发,属于早期在corosyn...

weixin_42967944的博客 700
上一篇: 集群搭建
下一篇: hadoop 3.0.0 alpha3 安装、配置
github_39294367
博客等级 码龄9年 33粉丝 156原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值