hbase 2.1.1 单机部署

本文详细介绍了如何从零开始安装HBase,包括下载HBase和JDK,配置环境变量,修改配置文件,以及启动和验证HBase是否正确安装的过程。

#下载hbase

wget https://mirrors.cnnic.cn/apache/hbase/2.1.1/hbase-2.1.1-bin.tar.gz

#下载jdk1.8

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

#上传jdk

rz -bye 

#解压jdk和hbase

tar -zxvf jdk-8u191-linux-x64.tar.gz 

tar -zxvf hbase-2.1.1-bin.tar.gz

#配置hbase环境变量

vi /etc/profile

export HBASE_HOME=/home/hbase-2.1.1

export PATH=$PATH:$HBASE_HOME/bin

source /etc/profile

#修改hbase-env.sh

vi /home/hbase-2.1.1/conf/hbase-env.sh

export JAVA_HOME=/home/jdk1.8.0_191

export HBASE_CLASSPATH=/home/hbase-2.1.1/conf

export HBASE_MANAGES_ZK=true

#修改hbase-site.xml

vi /home/hbase-2.1.1/conf/hbase-site.xml
<configuration>  
  <property>  
      <name>hbase.rootdir</name>  
      <value>file:///home/hbase-2.1.1/logs/site</value>  
  </property>  
   <property>  
      <name>hbase.tmp.dir</name>  
      <value>/home/hbase-2.1.1/tmp</value>  
  </property>  
  <property>  
      <name>hbase.cluster.distributed</name>  
      <value>true</value>  
  </property>  
  <property>  
      <name>hbase.zookeeper.quorum</name>  
      <value>lfwer</value>  
  </property>  
</configuration>  

#查看hbase是否安装成功

hbase version

#启动hbase

/home/hbase-2.1.1/conf/.start-hbase.sh

#用hbase shell 访问一下

hbase shell
HBase Shell

Use "help" to get list of supported commands.

Use "exit" to quit this interactive shell.

For Reference, please visit: http://hbase.apache.org/2.0/book.html#shell

Version 2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, Fri Oct 26 19:27:03 PDT 2018

Took 0.0020 seconds                                                                                                                    

hbase(main):001:0> 

hbase(main):002:0* 

#执行list命令

hbase(main):002:0* list
TABLE                                                                                                                                  

test                                                                                                                                   

1 row(s)

Took 0.3306 seconds                                                                                                                    

=> ["test"]

hbase(main):003:0> 

#通过浏览器查看hbase状态信息

http://ip:16030
单机环境下使用 Docker 部署 Hadoop、HBase 和 Hive 可以通过编写 Docker Compose 文件来实现。以下是一个基本的部署流程和示例配置。 ### 1. 创建 Docker Compose 文件 创建一个 `docker-compose.yml` 文件,定义 Hadoop、HBase 和 Hive 的服务。 ```yaml version: '3' services: hadoop: image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 container_name: hadoop-nn ports: - "50070:50070" environment: - CLUSTER_NAME=hadoop-cluster volumes: - hadoop-data:/hadoop/dfs/data hbase: image: harisekhon/hbase:latest container_name: hbase ports: - "16010:16010" - "9090:9090" depends_on: - hadoop hive: image: bde2020/hive:3.1.2-postgresql-metastore container_name: hive ports: - "10000:10000" environment: - HIVE_EXECUTION_ENGINE=tez depends_on: - hadoop - hbase volumes: hadoop-data: ``` ### 2. 启动容器 在 `docker-compose.yml` 文件所在目录中运行以下命令启动容器: ```bash docker-compose up -d ``` ### 3. 验证服务 - **Hadoop**: 访问 `http://localhost:50070` 查看 Hadoop NameNode 的 Web 界面。 - **HBase**: 访问 `http://localhost:16010` 查看 HBase 的 Web 界面。 - **Hive**: 通过以下命令进入 Hive CLI: ```bash docker exec -it hive hive ``` ### 4. 配置集成 - **Hive 与 HBase 集成**: 为了使 Hive 能够访问 HBase,需要在 Hive 中启用 HBase 集成。可以通过修改 Hive 的配置文件 `hive-site.xml`,添加以下内容: ```xml <property> <name>hive.zookeeper.quorum</name> <value>hbase:2181</value> </property> ``` 在 Hive CLI 中创建外部表并映射到 HBase 表: ```sql CREATE EXTERNAL TABLE hbase_table( key STRING, value STRING ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:val") TBLPROPERTIES("hbase.table.name" = "my_hbase_table"); ``` - **Hadoop 与 HDFS 配置**: 确保 Hadoop 的 `core-site.xml` 和 `hdfs-site.xml` 配置正确,以便 HBase 和 Hive 能够访问 HDFS。 ### 5. 数据持久化 为了确保数据在容器重启后仍然存在,可以在 Docker Compose 文件中配置数据卷。例如: ```yaml volumes: hadoop-data: driver: local driver_opts: type: none device: /path/to/local/data o: bind ``` ### 6. 安全配置 如果需要启用 Kerberos 认证,可以参考引用中的配置,调整 `krb5.conf` 文件,指定 KDC 服务器和 Realm。 ### 7. 停止和清理 停止容器: ```bash docker-compose down ``` 清理数据卷: ```bash docker volume prune ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值