windows10 搭建最新的 hadoop 3.1.3 和 hbase 2.2.2 测试环境

最新推荐文章于 2023-07-29 00:54:09 发布

置顶 liutietuo

最新推荐文章于 2023-07-29 00:54:09 发布

阅读量4.3k

点赞数 2

分类专栏： hbase 文章标签： hadoop hbase 配置

本文链接：https://blog.youkuaiyun.com/liutietuo/article/details/103983632

版权

hbase 专栏收录该内容

1 篇文章

订阅专栏

一、环境准备

1、JDK

2、Hadoop安装包

官网 :https://archive.apache.org/dist/hadoop/common/

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.3/

https://www-eu.apache.org/dist/hadoop/common/hadoop-3.1.3/

3、hadooponwindows-master

下载地址 :https://github.com/cdarlint/winutils

https://github.com/steveloughran/winutils

选择3.1.3使用

如果不想配置和下载直接用我的文件覆盖

https://download.youkuaiyun.com/download/liutietuo/12113221

4、hbase安装包

官网 :http://archive.apache.org/dist/hbase/

http://archive.apache.org/dist/hbase/2.2.2/

二版本对应关系

1 Hadoop与Hbase对应的版本

2 Hbase与Jdk对应的版本

三开始安装

1 解压各个目录

2 设置环境变量

我的电脑 --> 属性 --> 高级系统设置 --> 高级 --> 环境变量，新建HADOOP_HOME，

然后将%HADOOP_HOME%\bin添加到Path中。

3 修改配置文件

如果不想配置和下载直接用我的文件覆盖

https://download.youkuaiyun.com/download/liutietuo/12113221

主要修改这些文件

原则上,只需要修改下面的文件地址即可.<加粗部分>. 同时如果没有文件夹,最好创建一个workplace

core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020/hbase</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/soft/hadoop/hadoop-3.1.3/workplace/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>

</configuration>

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

hadoop-env.cmd

修改

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\PROGRA~1\Java\jdk1.8.0_201

注意:这里PROGRA~1 有的电脑可能是PROGRA~2 .具体了解dos的8.3命名规则

4 使用winutils-master 覆盖

下载的文件包没有3.1.3 .我们使用3.1.2. 差一个版本问题不大,如果能找到匹配的最好了.

复制这些文件到

覆盖替换原文件即可

5 启动格式化HDFS

首先，hadoop version，查看是否能正常运行

执行 hdfs namenode -format

6 尝试运行hadoop

进入sbin目录不是bin

运行 start-all

启动后没保存表示正常

7 测试hadoop启动是否正常

进入hdfs管理页面

http://localhost:9870/

进入资源调度管理（yarn）

访问地址 :http://localhost:8088/

hadoop启动完成我们配置hbase

四配置hbase

1 修改配置文件

hbase-site.xml

   <property>
       <name>hbase.rootdir</name>
        <value>hdfs://localhost:8020/hbase</value>
   </property>
   <property>
       <name>hbase.tmp.dir</name>
       <value>D:/soft/hadoop/hbase-2.2.2/workplace/tem</value>
   </property>
   <property>
       <name>hbase.zookeeper.quorum</name>
       <value>127.0.0.1</value>
   </property>
   <property>
       <name>hbase.zookeeper.property.dataDir</name>
       <value>D:/soft/hadoop/hbase-2.2.2/workplace/zoo</value>
   </property>
   <property>
       <name>hbase.cluster.distributed</name>
       <value>false</value>
   </property>
   <property>
       <name>hbase.unsafe.stream.capability.enforce</name>
       <value>false</value>
   </property>
</configuration>