拷贝hadoop2目录下所有hadoop*.jar到hbase/lib目录

最新推荐文章于 2021-08-18 19:00:14 发布

原创最新推荐文章于 2021-08-18 19:00:14 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #开发工具 #shell

hbase 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了HBase的常用管理命令及操作技巧，包括表的创建与分区、数据导入、元数据维护等内容，并提供了时间同步配置及压缩格式修改的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} /usr/local/hbase/lib/

保存hbase的操作命令历史 
用户目录下，新建一个文件.irbrc，输入以下内容

require 'irb/ext/save-history'
IRB.conf[:SAVE_HISTORY] = 100
IRB.conf[:HISTORY_FILE] = "#{ENV['HOME']}/.irb_history"
Kernel.at_exit do
    IRB.conf[:AT_EXIT].each do |i|
        i.call
    end
end
重新进入hbase shell，执行几个命令，退出后，命令会保存在用户目录中的.irb_history文件中
hadoop@hadoopMaster:~$ l | grep .ir
-rw-rw-r--  1 hadoop hadoop    24  6月  9 08:57 .irb_history
-rw-rw-r--  1 hadoop hadoop   185  6月  9 08:57 .irbrc

通过WEB查看hbase：

查看Master http://master:60010/master.jsp

查看Region Serverhttp://slave:60030/regionserver.jsp

查看ZK Tree http://master:60010/zk.jsp

#!/bin/bash
echo "start"
for ((i=19;i<=22;i++))
do
ssh 192.168.20.$i 'date -s "2011-05-10 10:44:00"; clock -w'
done
echo "complete"

hbase(main):001:0> import java.text.SimpleDateFormat
=> Java::JavaText::SimpleDateFormat
hbase(main):002:0> import java.text.ParsePosition
=> Java::JavaText::ParsePosition
hbase(main):004:0> SimpleDateFormat.new("yy/MM/dd HH:mm:ss").parse("08/08/16 20:56:29", ParsePosition.new(0)).getTime()
=> 1218891389000

create 'tb_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']}
hbase shell之创建表的同时创建分区 
这个时候可以http://hadoopmaster:60010/master-status去看看

发现这个表有4个regions:
既有普通option(例如VERSIONS，COMPRESSION等)，又创建预分区
create 't', {NAME => 'f', VERSIONS => 1, COMPRESSION => 'SNAPPY'}, {SPLITS => ['10','20','30']}

hbase(main):01:0* for i in 0..9 do\ 
hbase(main):02:1* put 't1','row1',"f1:c#{i}","swallow#{i}"\ 
hbase(main):03:1* end

移除添加节点
http://shitouer.cn/2013/03/hadoop-or-hbase-cluster-remove-nodes/

HBase修改压缩格式
http://shitouer.cn/2013/05/hbase-table-alter-compression-type-and-snappy-compression-compare/

//查具体某表的大小
hadoop@hadoopMaster:~$ hdfs dfs -du /hbase
0      /hbase/.tmp
1179   /hbase/WALs
0      /hbase/archive
90224  /hbase/data
42     /hbase/hbase.id
7      /hbase/hbase.version
100    /hbase/oldWALs

hdfs dfs -dus /hbase/tablename
hdfs dfs -du /hbase/tablename

一个尝试将BigTable(HBase)和 RDBMS (H2数据库) 结合的项目 
https://github.com/codefollower/Lealone
http://shitouer.cn

root@Master(192.168.0.1):~$ sudo vim /etc/ntp.conf 
#server ntp.ubuntu.com
server 127.127.1.0 minpoll 4 maxpoll 5
fudge 127.127.1.0 stratum 2
server 127.127.1.0
fudge 127.127.1.0 stratum 8
root@Master:~$ sudo /etc/init.d/ntp restart
 * Stopping NTP server ntpd          [ OK ] 
 * Starting NTP server ntpd          [ OK ] 
root@Master:~$ ntpdate -q 127.0.0.1
server 127.0.0.1, stratum 9, offset -0.000016, delay 0.02571
11 Aug 14:54:24 ntpdate[9249]: adjust time server 127.0.0.1 offset -0.000016 sec
root@Slave1:/home/hadoop# sudo /etc/init.d/ntp stop
 * Stopping NTP server ntpd           [ OK ] 
root@Slave1:/home/hadoop# ntpdate 192.168.0.1
11 Aug 14:57:06 ntpdate[2073]: adjust time server 192.168.0.1 offset 0.008728 sec
root@Slave1:# crontab -e
添加如下行：
* */1 * * * /usr/sbin/ntpdate 192.168.0.1
每个小时与与192.168.0.1时间同步一次。
其它机器类似

查看hbasemeta情况
hbase hbck
1.重新修复hbase meta表
hbase hbck -fixMeta
2.重新将hbase meta表分给regionserver
hbase hbck -fixAssignments

hbase hbck -h
hbase hbck -fix
导入到HDFS上相应的目录：
hbase org.apache.hadoop.hbase.mapreduce.Export student file:/opt/wksp/hbase/mydata/student

hbase:meta
hbase:namespace