Hadoop(2) 单节点模式(本地模式)

---

Hadoop(2)
单节点模式(本地模式)

Hadoop单节点

注意

Hadoop的部署运行需要Java环境

单节点模式介绍

Hadoop 以一个 Java 进程的形态运行在非分布式模式下，这对于调试很有帮助,但是实际的开发和测试时,一般很少用本地模式

单节点部署

1. 修改配置文件,配置java_home

vim <Hadoop安装目录>/etc/hadoop/hadoop-env.sh

找到export JAVA_HOME=${JAVA_HOME}(大约在25行)

然后将自己的Java安装路径填上

export JAVA_HOME=/opt/jdk1.8.0_11

2. 执行以下代码测试(在Hadoop的安装目录下)

bin/hadoop

出现以下内容说明配置成功

单节点官方测试案例

语法

<Hadoop安装目录>/bin/hadoop jar <jar包路径> <jar包的主类名> <输入文件夹路径> <输出文件夹路径> [参数]

注意

1. 输出文件路径一定要是一个不存在的路径,jar包在执行输出时,会自动创建这个目录

2. [参数]在不同的功能中不同,根据实际方法传入不同的参数

举例 1 调用Hadoop自带的示例jar包,测试官方grep案例

1. Hadoop的安装目录下创建一个input的文件夹

mkdir input

2. 复制<Hadoop安装目录>/etc/hadoop/目录下所有的.xml文件到input目录

cp etc/hadoop/*.xml input

3. 调用jar包

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'

注意

dfs[a-z.]+是一个准则表达式,这里作为控制台输入的参数传入grep的方法,grep的作用是在指定文件里找到符合准则表达式的单词

4.执行结束之后,查看output的内容

cat output/*

如果出现1 dfsadmin,说明测试成功

举例 2 单词统计案例

1. 同案例1,新建一个wcinput的文件夹,在里面新建一些文件,新编输入一些内容
2. 执行命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wcinput/ wcoutput

注意

1. 这里执行的jar包还是hadoop-mapreduce-examples-2.7.7.jar,只不过主函数变为wordcount,输出文件夹自定义一个不存在的目录即可
2. 这个案例的方法(wordcount),没有参数,所有不需要在控制台输入参数
3. 查看输出文件夹的内容,这里我规定的是wcoutput