一起重新开始学大数据-Hbase篇-day 53 Hbase安装及简析

一起重新开始学大数据-Hbase篇-day 53 Hbase安装及简析

 
 

搭建Hbase

---

1、启动hadoop

start-all.sh

web验证是否开启

http://master:50070

jps验证是否开启

2、启动zookeeper

需要在在三台中分别启动

zkServer.sh start

验证是否开启

zkServer.sh status

开始搭建hbase

1、上传解压配置环境变量

hbase-1.4.6-bin.tar.gz：
链接：https://pan.baidu.com/s/1MiXfr3X_sKdOccozhA4jBQ
提取码：xmu3

tar -xvf hbase-1.4.6-bin.tar.gz -C /usr/local/soft

2、修改hbase-env.sh文件

cd /usr/local/soft/hbase-1.4.6/conf
vim hbase-env.sh

添加java配置
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

vim界面手打查找：
/ZK

关闭默认zk配置
export HBASE_MANAGES_ZK=false

3、修改hbase-site.xml文件

   <property> 
      <name>hbase.rootdir</name> 
      <value>hdfs://master:9000/hbase</value> 
   </property> 
   <property> 
      <name>hbase.cluster.distributed</name> 
      <value>true</value> 
   </property> 
   <property> 
      <name>hbase.zookeeper.quorum</name> 
      <value>node1,node2,master</value> 
   </property> 

4、修改regionservers文件

覆盖为：
node1
node2

如果是伪分布式版本，增加master即可

5、同步到所有节点（如果是伪分布式不需要同步）

scp -r hbase-1.4.6/ node1:`pwd`
scp -r hbase-1.4.6/ node2:`pwd`

6、配置环境变量

(添加HBASE_HOME=/usr/local/soft/hbase-1.4.6和path的)

vim /etc/profile
source /etc/profile

7、启动hbase集群 ， 需要在master上执行

start-hbase.sh

8、验证hbase

http://master:16010

同时在master机器上输入jps，有了Hmaster

hbase日志文件所在的目录

/usr/local/soft/hbase-1.4.6/logs

关闭集群的命令

stop-hbase.sh

通过 hbase shell 进入到hbase的命令行

创建表 列簇 列式数据库

create 'test','info'

插入数据

put 'test','001','info:name','zhangsan'

查询数据

get 'test','001'

 
 

------------------------------分割线--------------------------------

如果hbase 搭建失败了 不知道问题出在哪里
重置hbase

1、关闭hbase集群
杀死进程

 stop-hbase.sh

2、删除数据 hdfs

   hadoop dfs -rmr /hbase

3、删除元数据 zk

   zkCli.sh
   rmr /hbase

4、重新启动hbase

   start-hbase.sh

如果一个Region Servers没启动可能是时间同步问题

时间同步方法：

yum install ntp -y

ntpdate -u time.windows.com

 
 
 
 

Hbase简析

---

Hbase 概述

• HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库

• 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务

• 主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）

Hbase系统架构

HMaster

• 为Region server分配region
• 负责Region server的负载均衡
• 发现失效的Region server并重新分配其上的region
• 管理用户对table的增删改操作

RegionServer

• Region server维护region，处理对这些region的IO请求
• Region server负责切分在运行过程中变得过大的region

详见下一章-Thank

|
|
|
|

上一章-hive篇-day 52 常用函数、复杂函数、行列互转、UDF自定义函数、HiveShell

下一章-Hbase篇-day 54 Hbase介绍、shell、过滤器
|
|
|
|
|

听说长按大拇指👍会发生神奇的事情呢！好像是下面的画面，听说点过的人🧑一个月内就找到了对象的💑💑💑，第二天买彩票中了大奖💴$$$，考试直接拿满分💯，颜值突然就提升了😎，虽然对你好像也不需要，你说是吧，吴彦祖🤵！