Hadoop入门进阶步步高(四)-测试Hadoop

Hadoop入门(七)——Hadoop安装(图文详解步骤2021) 2.4 在 hadoop102 安装 Hadoop Hadoop 下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 1 ) 用 XShell 文件传输 工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下 面 注:我在上一篇文章中将hadoop与jdk一起导入了,如果按照我上一篇文章一步步做的就不需要做这一步了 2 ) 进入到 Hadoop 安装包路径下 [l 阅读详情

四、测试Hadoop

一个简单的求每年温度最大值的程序。

1、准备两个文本测试数据

准备两个名为data1.txt及data2.txt的文件,用于做为计算的输入数据,将其放于/home/fenglibin/java/data目录下:

data1.txt

data2.txt

1999 10

1999 20

1999 25

2000 21

2000 22

2000 18

2000 40

2001 45

2001 65

2002 90

2002 89

2002 70

2003 40

2003 80

1999 40

1999 10

1999 25

2000 51

2000 22

2000 18

2000 40

2001 95

2001 65

2002 90

2002 19

2002 70

2003 100

2003 80

每行有两列,分别表示年份和温度。

 

2、准备JAVA代码

该代码来自于《Hadoop权威指南(第二版)》,如下:

package hadoop;

 

import java.io.IOException;

 

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 

public class MaxTemperature {

 

    static class MaxTemperatureMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

 

        @Override

        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String line = value.toString();

            if (line == null || line.trim().equals("")) {

                return;

            }

            String[] arr = line.split(" ");

            String year = arr[0];

            int airTemperature = Integer.parseInt(arr[1]);

            context.write(new Text(year), new IntWritable(airTemperature));

        }

    }

 

    static class MaxTemperatureReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

 

        @Override

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

            int maxValue = Integer.MIN_VALUE;

            for (IntWritable value : values) {

                maxValue = Math.max(maxValue, value.get());

            }

            context.write(key, new IntWritable(maxValue));

        }

    }

 

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        Job job = new Job();

        job.setJarByClass(MaxTemperature.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));

        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        job.setMapperClass(MaxTemperatureMapper.class);

        job.setReducerClass(MaxTemperatureReducer.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(IntWritable.class);

 

        System.exit(job.waitForCompletion(true) ? 0 : 1);

    }

}

 

3、编译

javac -cp $HADOOP_HOME/hadoop-core-1.2.1.jar hadoop/MaxTemperature.java

 

4、执行

执行的方式有两种,直接通过java命令和$HADOOP_HOME/bin/hadoop命令,不过不同的执行方式有一定的区别。

4.1、通过java命令执行

有如下特点:

1)、指定本地的输入文件;

2)、将结果输出到本地;

3)、需要指定依赖的一长串classpath;

4)、只需要启动map/reduce即可,不需要启动namenode及datanode;

5)、需要在class所在目录执行,因而不需要指定HADOOP_CLASSPATH。

执行如下:

java -Xmx256m -Xms256m -XX:PermSize=128m -cp $HADOOP_HOME:.:$HADOOP_HOME/hadoop-core-1.2.1.jar:$HADOOP_HOME/hadoop-tools-1.2.1.jar:$HADOOP_HOME/hadoop-ant-1.2.1.jar:$HADOOP_HOME/hadoop-client-1.2.1.jar:$HADOOP_HOME/hadoop-minicluster-1.2.1.jar:$HADOOP_HOME/lib/commons-logging-1.1.1.jar:$HADOOP_HOME/lib/commons-logging-api-1.0.4.jar:$HADOOP_HOME/lib/commons-configuration-1.6.jar:$HADOOP_HOME/lib/commons-lang-2.4.jar:$HADOOP_HOME/lib/jackson-core-asl-1.8.8.jar:$HADOOP_HOME/lib/jackson-mapper-asl-1.8.8.jar:$HADOOP_HOME/lib/commons-httpclient-3.0.1.jar hadoop/MaxTemperature /home/fenglibin/java/data/ /home/fenglibin/java/result/

 

4.2、通过hadoop命令执行

有如下特点:

1)、输入文件必须放到hdfs上;

2)、输出结果在hdfs上;

3)、需要设置HADOOP_CLASSPATH,但不是绝对;

4)、需要将class文件打成jar包。

  HADOOP_CLASSPATH是用于添加用户的jar,hadoop在执行的时候会将其追加到hadoop本身的classpath中。Hadoop在启动的时候,会将$HADOOP_HOME/lib目录下面的jar全部加到classpath中,如果想偷懒不设置HADOOP_CLASSPATH,可以将你的jar包放到$HADOOP_HOME/lib中。

 

4.2.1、将class文件打成jar包

首先需要创建一个mainfest.mf,放在与要打包的class相同的目录中,里面写上内容:

Main-Class: hadoop.MaxTemperature

 

然后通过如下命令进行打包:

jar cvfm maxTemperature.jar mainfest.mf -c hadoop/

4.2.2、设置HADOOP_CLASSPATH

如此时maxTe mperature.jar放在/home/fenglibin/java目录下,此时设置HADOOP_CLASSPATH如下:

export HADOOP_CLASSPATH=/home/fenglibin/java/maxTemperature.jar

 

4.2.3、拷贝本地文件到HDFS

hdfs -copyFromLocal data ~/java

注:hdfs是我本地的“hadoop fs”的alias,目录“~/java”是hdfs中的目录。

查看是否拷贝成功:

hdfs -ls ~/java

结果如下:

fenglibin@ubuntu1110:~/java$ hdfs -ls ~/java

Warning: $HADOOP_HOME is deprecated.

 

Found 1 items

drwxr-xr-x   - fenglibin supergroup      0 2013-12-25 14:33 /home/fenglibin/java/data

 

文件已经存在,表示拷贝成功。

 

4.2.4、执行

Jar的mainfest.mf中标识了Main-Class是hadoop/MaxTemperature是主类,因而我们可以有两种执行方式,直接执行类hadoop/MaxTemperature或者直接执行jar。

1)、直接执行类hadoop/MaxTemperature

hadoop hadoop/MaxTemperature ~/java/data ~/java/result1

2)、直接执行jar包

hadoop jar /home/fenglibin/java/maxTemperature.jar ~/java/data ~/java/result2

 

虽然这种方式是执行jar包,其实也是调用类hadoop/MaxTemperature执行,只是入口不一样而已。

 

4.2.5 查看结果

以上两种方式执行的计算结果是相同的,结果文件有一些不同,结果的存放位置不同,通过JAVA直接执行的结果是存放在本地的,通过Hadoop执行的结果是放到Hdfs上的。

下面的截图是通过JAVA执行后,在/home/fenglibin/java/result/下面生成四个文件:

其中两个.crc文件是隐藏,是用于CRC校验的,我们不需要关心;

_SUCCESS是一个空文件,只是用于表示当前操作执行成功;

part_r_00000里面存放的就是我们每年最大值的输出结果,内容如下:

 

下面的截图是通过Hadoop执行,在~/java/result目录下面的结果:

 

part_r_00000里面的内容和通过JAVA执行结果是一样的,这里就不贴图了。通过Hadoop命令执行,里面多了一个_logs目录,它里面存放了本次用于执行的jar文件以及本次执行Hadoop用到的配置信息文件“*_conf.xml”,这个配置文件需要重点关注一下,因为这个文件里面包含了本次计算执行所需要的所有配置信息,以下为本次执行过后的配置文件:

注:后面补上

Hadoop入门基础配置——jdk和Hadoop Hadoop入门基础配置——jdk和Hadoop 版权声明: 本文为博主学习整理原创文章,如有不正之处请多多指教。 未经博主允许不得转载。 https://mp.youkuaiyun.com/postedit/82432180 Hadoop简介: Hadoop一个分布式系统基础构架,由Apache基金会开发(相当于红十字会,里面软件都是免费的)。Hadoop的框架最核心的设计是HDFS(海量的数据提... 阅读详情

相关推荐

测试眼里的Hadoop系列 之Terasort

TeraSort是Hadoop的测试中很有用的一个工具,但以前只是粗略的知道它的功能和用法,简单的用它做了几个测试用例。实际上,对于这种比较通用的工具,如果能够了解它更多一些的话,对于理解Hadoop是很有帮助的,同时也可以更好的利用它来帮助测试。最近有点时间,就了解了一些它的背景,代码实现原理等等,就先记录下来吧。 1. Hadoop与Sort Benchmarks SortBenchmar

leafy1980的专栏 1万+

HADOOP练习题--入门

1.下面哪个不是Hadoop进程(B) A. NameNode B. HMaster C. DataNode D.Node manager 2.下面哪个是Hadoop组件(D) A.YARN B.HDFS C.MapReduce D.以上均是 3. HDFS (hadoop2.X)默认 Block Size的大小是( C)。 A.32MB B.64MB C.128MB D.256M 4. 下列哪个程序通常与 NameNode 在同一个节点启动( D ...

qq_51872658的博客 3125

Hadoop实践(四)---Hadoop集群测试(MR样例)

Hadoop 自带示例程序详解

狮锅艺 3589

Hadoop集群的搭建和使用

文章目录Hadoop集群的搭建和使用1.实验目的2.Hadoop介绍3.实验环境4.集群搭建4.1修改主机名4.2修改host4.3配置ssh免密登录4.4安装Java5.安装Hadoop5.1下载hadoop5.2为 hadoop 设置系统环境变量5.3编辑 Hadoop 配置文件5.4验证Hadoop是否安装完成5.5分发Hadoop6.启动集群和 HDFS 文件系统的使用6.1格式化HDFS文件系统6.2启动集群6.3验证7.HDFS文件系统使用7.1命令行方式读写 hdfs8.通过java 程序读

qq_21043585的博客 3851

运行hadoop基准测试

由于需要为hadoop集群采购新的服务器,需要对服务器在hadoop环境下的性能进行测试,所以特地整理了一下hadoop集群自带的测试用例: bin/hadoop jar hadoop-*test*.jar 运行上述命令,可以得到hadoop-*test*.jar自带的测试程序An example program must be given as the first argument

竹叶青 的专栏 1万+

Hadoop高可用集群搭建及测试

你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界面设计 ,将会带来全新的写作体验; 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示; 增加了 图片拖拽 功能,你可以将本地的图片直

weixin_48628866的博客 2235

大数据第二章Hadoop习题

大数据第二章Hadoop习题

jinyeran的博客 2126

Hadoop MapReduce入门

入门简介 计算过程分为两个阶段 Map 和 Reduce Map 阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 针对python语言来说: map函数或者reduce 函数来说,输出的数据格式为元组tuple 一个简单的 MapReduce 程序只需要指定 map() reduce() input() ......

不曾走远的博客 472

大数据开发之Hadoop(完整版+练习)

第 1 章:Hadoop概述 1.1 Hadoop是什么 1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2、主要解决,海量数据的存储和海量数据的分析计算问题。 3、Hadoop通常是指一个更广泛的概念-Hadoop生态圈 1.2 Hadoop优势(4高) 1、高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。 2、高扩展性:再集群间分配任务数据,可方便的扩展数以千计的节点。 3、高效性:再MapReduce的思想下,H

key_honghao的博客 2366

hadoop市实战练习

本文介绍了hadoop实战项目的背景,技术选型,开发详细讲解

运行hadoop jar

NULL 博文链接:https://byx5185.iteye.com/blog/1490172

【大数据实验2】hadoop配置、测试和实例

hadoop 1、安装 2、测试 3、实例

nosteglic 8098

hadoop测试(1)---HDFS文件操作 完整测试代码

hadoop测试(1)---HDFS文件操作 完整测试代码, 相关文章:http://www.cnblogs.com/yinpengxiang/archive/2011/07/03/2096605.html

hadoop压力测试 hadoop集群压力测试 hdfs压力测试

使用hadoop官方工具遇到了一些问题(附录详写),所以自己编写了测试用例进行压力测试 首先pom文件引入lombok,hadoop和hdfs的依赖包 <properties> <lombok.version>1.16.20</lombok.version> <hadoop.version>2.7.7</hadoop.versi...

王者丶丿风范 3913

【通信协议】I2C总线(一主多从)

I2C总线(一主多从)之软件模拟代码详解

m0_75090944的博客 9851

【实用运维脚本】Windows 批量 TCP 端口检测(tcping 一键巡检)

摘要:本文介绍一款高效的Windows批量TCP端口检测脚本,适配tcpingv0.39工具,实现多服务器一键巡检。脚本具有进度可视化、双日志输出、自动容错等优势,支持注释行过滤和UTF-8编码。 使用仅需三步: 1)下载tcping工具 2)编辑目标列表 3)运行脚本即可自动检测并生成带编号的检测报告。 该方案解决了手动检测效率低、易遗漏的问题,特别适合日常运维中的端口连通性检查,实测稳定可靠,开箱即用。

蕲士|D365 & 服务器运维,心有东坡,行稳致远。 804

Hadoop进阶之路

Hadoop 是一个开源的分布式计算平台,能够使用简单的编程模型跨计算机集群分布式处理大规模数据,为任何类型的数据提供海量存储,巨大的处理能力以及处理几乎无限的并发任务或作业的能力。它的核心组件包括 HDFS(Hadoop Distributed File System)、MapReduce 和 Yarn,这些组件相互协作,使得 Hadoop 能够高效地处理和存储海量数据。

£菜鸟也有梦的博客 1983

暗黑破坏神2重制版 mod制作教程(一)

暗黑2重制版mod修改教程

hhhh2312的博客 7467

Hadoop基准测试

利用hadoop自带基准测试工具包进行集群性能测试,测试平台为CDH5.16上hadoop2.6版本 目录 /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/ 使用TestDFSIO、mrbench、nnbench、Terasort 、sort 几个使用较广的基准测试程序 hadoop-mapreduce-client-jobclient-t...

L, there! 3824

从零搭建基于OpenSpec的现代化UI自动化测试框架实战指南

UI自动化测试是软件质量保障的关键环节,其核心在于通过脚本模拟用户操作,对Web应用界面进行功能验证。其原理在于利用浏览器驱动工具(如Selenium、Playwright)提供的API,实现对页面元素的定位、交互与断言。一个设计良好的自动化框架能显著提升测试脚本的可维护性、可读性和执行稳定性,从而在持续集成、回归测试等场景中发挥巨大价值。本文聚焦于如何构建一个现代化的UI测试框架,通过整合OpenSpec架构规范、Pytest测试引擎与Playwright浏览器自动化工具,形成清晰的页面对象模型(POM)

weixin_28836989的博客 286

从零到一:KUKA机械臂与ROS的工业级通讯协议深度解析

本文深度解析KUKA机械臂与ROS的工业级通讯协议,重点对比EKI与RSI两种核心接口的技术特点与应用场景。详细介绍了网络架构设计、数据包解析机制及ROS-I集成方法,并提供实时性能优化与故障排除策略,为工程师实现高可靠性工业自动化集成提供完整解决方案。

2a4s6d8f0g的博客 298

Hadoop 入门教程

Hadoop 入门教程(Java操作HDFS)

若尘的博客 3078

AI智算-K8s如何利用GPFS分布式并行文件存储加速训练or推理

GPFS(General Parallel File System,通用并行文件系统)是由 IBM 开发的高性能分布式文件系统,最初设计于 1990 年代,用于满足高性能计算(HPC)环境对大规模数据存储和访问的需求。GPFS 现已广泛应用于企业级存储、云计算、大数据分析、人工智能和媒体处理等领域。它以其高性能、可扩展性和可靠性著称,能够支持从小型集群到超大规模系统的各种部署场景。

Kason_iWiki 1132

hadoop基准测试

Hadoop 集群基准测试 一、测试条件 集群完全安装配置后,应立即开始基准测试。基准测试时集群里不应该运行其他一切任务。 二、测试目标 1. 硬盘故障:新系统最常见的故障。可以通过运行高强度的IO基准测试程序集中测试。例如TestDFSIO 2. MapReduce的

Royce Wang专栏 9387

C++和OpenGL实现3D游戏编程【连载6】——不规则图形的纹理贴图(附源码)

上一节我们讨论了纹理贴图的相关基础操作,但上一节的纹理贴图操作基本上都是规则图形,包括圆形和球形虽然复杂一点,但是它也是规则的。这一节课我们要讨论一下,怎么在不规则图形上纹理贴图,就比如文章下图的心形纹理贴图,以及纹理的平移、旋转、放大缩小功能。

zhooyu的博客 1308

手把手教你学PCIE-- 热插拔电路设计与实现方案

PCIe热插拔(Hot-Plug)技术允许用户在系统运行时安全地插入或移除设备,而无需重启系统。本文将深入讲解热插拔电路的设计要点、关键器件选型及信号协议规范,涵盖机械结构、电气保护和电源管理三大核心模块。​。

MHD0815的博客 442
上一篇: Hadoop入门进阶步步高(二)-目录介绍
下一篇: Hadoop入门进阶步步高(五)-搭建Hadoop集群
冯立彬
冯立彬 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄21年 5458粉丝 593原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值