大数据Hadoop学习(8)-HBase安装

HBase安装

1 Zookeeper正常部署

首先保证Zookeeper集群的正常部署，并启动之：

[root@node1 zookeeper-3.4.10]$ bin/zkServer.sh start
[root@node2 zookeeper-3.4.10]$ bin/zkServer.sh start
[root@node3 zookeeper-3.4.10]$ bin/zkServer.sh start

2 Hadoop正常部署

Hadoop集群的正常部署并启动：

[root@node1 hadoop-2.7.0]$ sbin/start-dfs.sh
[root@node2 hadoop-2.7.0]$ sbin/start-yarn.sh

3 HBase的解压

解压HBase到指定目录：

[root@node1 module]$ tar -zxvf hbase-1.1.3-bin.tar.gz -C /opt/software

4 HBase的配置文件

修改HBase对应的配置文件。

1）hbase-env.sh修改内容：

export JAVA_HOME=/opt/software/jdk1.8.0_161
export HBASE_MANAGES_ZK=false

2）hbase-site.xml修改内容：

<configuration>
	<property>     
		<name>hbase.rootdir</name>     
		<value>hdfs://node1:9000/hbase</value>   
	</property>

	<property>   
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>

   <!-- 0.98后的新变动，之前版本没有port,默认端口为60000 -->
	<property>
		<name>hbase.master.port</name>
		<value>16000</value>
	</property>

	<property>   
		<name>hbase.zookeeper.quorum</name>
	     <value>node1:2181,node2:2181,node3:2181</value>
	</property>

	<property>   
		<name>hbase.zookeeper.property.dataDir</name>
	     <value>/opt/module/zookeeper-3.4.6/zkData</value>
	</property>
</configuration>

3）regionservers：

node1
node2
node3

4）软连接hadoop配置文件到hbase：

[root@node1 software]$ ln -s /opt/software/hadoop-2.7.0/etc/hadoop/core-site.xml /opt/software/hbase-1.1.3/conf/core-site.xml
[root@node1 software]$ ln -s /opt/software/hadoop-2.7.0/etc/hadoop/hdfs-site.xml /opt/software/hbase-1.1.3/conf/hdfs-site.xml

5）配置master备份 ：

​ conf下创建backup-masters文件，添加备份节点名

[root@node1 hbase-1.1.3]# vi backup-masters
node1
node2
node3

5 HBase远程发送到其他节点

scp -r /opt/software/hbase-1.1.3/ node2:/opt/software/
scp -r /opt/software/hbase-1.1.3/ node3:/opt/software/

6 HBase服务的启动

1．启动方式1

[root@node1 hbase]$ bin/hbase-daemon.sh start master
[root@node1 hbase]$ bin/hbase-daemon.sh start regionserver

提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。

修复提示：

a、同步时间服务

b、属性：hbase.master.maxclockskew设置更大的值

<property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
        <description>Time difference of regionserver from master</description>
 </property>

2．启动方式2

[root@node1 hbase]$ bin/start-hbase.sh

对应的停止服务：

[root@node1 hbase]$ bin/stop-hbase.sh

7 查看HBase页面

启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如：

http://192.168.200.101:16010

HBase Shell操作

1 基本操作

1．进入HBase客户端命令行（任意节点均可）

[root@node1 hbase]$ bin/hbase shell

2．查看帮助命令

hbase(main):001:0> help

3．查看当前数据库中有哪些表

hbase(main):002:0> list

报错 org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet

查看hadoop的安全模式是ON关闭即可

[root@node1 ~]# hadoop dfsadmin -safemode get
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Safe mode is ON
[root@node1 ~]# hadoop dfsadmin -safemode leave 
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Safe mode is OFF

2 表的操作

1．创建表

hbase(main):002:0> create 'student','info' **（单双引号无所谓）**

2．插入数据到表

hbase(main):003:0> put 'student','1001','info:sex','male'
hbase(main):004:0> put 'student','1001','info:age','18'
hbase(main):005:0> put 'student','1002','info:name','Janna'
hbase(main):006:0> put 'student','1002','info:sex','female'
hbase(main):007:0> put 'student','1002','info:age','20'

3．扫描查看表数据

hbase(main):008:0> scan 'student'
hbase(main):009:0> scan 'student',{STARTROW => '1001', STOPROW => '1002'}
hbase(main):010:0> scan 'student',{STARTROW => '1001'}

4．查看表结构

hbase(main):011:0> describe 'student'

5．更新指定字段的数据

hbase(main):012:0> put 'student','1001','info:name','Nick'
hbase(main):013:0> put 'student','1001','info:age','100'

6．查看“指定行”或“指定列族:列”的数据

hbase(main):014:0> get 'student','1001'
hbase(main):015:0> get 'student','1001','info:name'

7．统计表数据行数

hbase(main):021:0> count 'student'

8．删除数据

删除某rowkey的全部数据：

hbase(main):016:0> deleteall 'student','1001'

删除某rowkey的某一列数据：

hbase(main):017:0> delete 'student','1002','info:sex'

9．清空表数据（表结构还在）

hbase(main):018:0> truncate 'student' 

提示：清空表的操作顺序为先disable，然后再truncate。

10．删除表
首先需要先让该表为disable状态：

hbase(main):019:0> disable 'student'

然后才能drop这个表：

hbase(main):020:0> drop 'student'

提示：如果直接drop表，会报错：ERROR: Table student is enabled. Disable it first.

11．变更表信息

将info列族中的数据存放3个版本：

hbase(main):022:0> alter 'student',{NAME=>'info',VERSIONS=>3}
hbase(main):022:0> get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3}
p表，会报错：ERROR: Table student is enabled. Disable it first.

11．变更表信息

将info列族中的数据存放3个版本：

hbase(main):022:0> alter 'student',{NAME=>'info',VERSIONS=>3}
hbase(main):022:0> get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3}