hbase 配制文件总结

本文详细介绍了HBase的原理、表结构、单机配置步骤,包括创建用户、解压安装、配置hbase-site.xml等,并讲解了HBase shell的基本操作,如建立表、插入数据、查询和删除数据。同时,还涉及了Java操作HBase的方法,包括连接配置、创建和删除表、数据查询与插入等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Base配置和使用文档...................................................................................................... 1

一、 HBase原理和结构说明............................................................................................. 2

二、 HBase的表结构....................................................................................................... 2

1) Row Key............................................................................................................... 3

2) 列族 column family.............................................................................................. 4

3) 单元 Cell............................................................................................................. 4

4) 时间戳 timestamp................................................................................................. 4

三、 HBASe单机配置...................................................................................................... 5

2) 使用root身份登录目标服务器系统(Suse10Linux).................................................. 5

3) 创建hadoop用户,$useraddhadoop可以用$passwdhadoop修改hadoop用户的登录密码. 5

4) 解压hadoop:......................................................................................................... 6

5) 配置hbase-site.xml文件........................................................................................ 6

6) 启动和关闭.......................................................................................................... 7

7) 说明..................................................................................................................... 7

四、 Hbase配置解释........................................................................................................ 8

1) 修改linux 系统参数 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“TooMany Open Files”的错误,导致整个HBase不可运行,你可以用ulimit-n 命令进行修改,或者修改/etc/security/limits.conf 和/proc/sys/fs/file-max 的参数,具体如何修改可以去Google 关键字 “linux limits.conf ”........................................................................................................ 8

2) JVM 配置 修改hbase-env.sh 文件中的配置参数,根据你的机器硬件和当前操作系统的JVM(32/64位)配置适当的参数 HBASE_HEAPSIZE 4000 HBase使用的 JVM 堆的大小 HBASE_OPTS "‐server ‐XX:+UseConcMarkSweepGC"JVMGC 选项 HBASE_MANAGES_ZKfalse 是否使用Zookeeper进行分布式管理 8

3) 配置HBase运行参数 hbase.rootdir.................................................................. 9

五、 HBase shell的基本用法........................................................................................... 23

1) 建立一个表和列族.............................................................................................. 23

2) 按设计的表结构插入值:.................................................................................... 24

3) 根据键值查询数据.............................................................................................. 24

4) 扫描所有数据..................................................................................................... 25

5) 删除指定数据..................................................................................................... 25

6) 修改表结构......................................................................................................... 26

7) 统计行数:......................................................................................................... 27

8) disable 和 enable 操作........................................................................................ 27

9) 表的删除............................................................................................................ 27

10) hbase shell脚本.................................................................................................. 28

六、 JAVA操作HBASE方面......................................................................................... 28

1) 连接原理和配置.................................................................................................. 28

2) 创建表................................................................................................................ 30

3) 删除表................................................................................................................ 31

4) 查询数据............................................................................................................ 31

5) 插入数据............................................................................................................ 33

6) 删除数据............................................................................................................ 34

7) 切分表................................................................................................................ 35

一、HBase原理和结构说明

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》

HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。

二、HBase的表结构

HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。

实际情况为:

如上图所示,key1,key2,key3是三条记录的唯一的row key值,column-family1,column-family2,column-family3是三个列族,每个列族下又包括几列。比如column-family1这个列族下包括两列,名字是column1和column2,t1:abc,t2:gdxdf是由rowkey1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据,abc和gdxdf。两个值的时间戳不一样,分别是t1,t2, hbase会返回最新时间的值给请求者。

这些名词的具体含义如下:

1) Row Key

与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行,只有三种方式:

(1.1) 通过单个row key访问

(1.2) 通过row key的range

(1.3) 全表扫描

Rowkey行键 (Row key)可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。

存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。(位置相关性)

注意:

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行键必须用0作左填充。

行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

2) 列族 column family

hbase表中的每个列,都归属与某个列族。列族是表的chema的一部分(而列不是),必须在使用表之前定义。列名都以列族作为前缀。例如courses:history , courses:math 都属于courses 这个列族。

访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中,列族上的控制权限能帮助我们管理不同类型的应用:我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据(甚至可能因为隐私的原因不能浏览所有数据)。

3) 单元 Cell

HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =<family> + <label>), version} 唯一确定的单元。cell中的数据是没有类型的,全部是字节码形式存贮。

4) 时间戳 timestamp

每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值,此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突,就必须自己生成具有唯一性的时间戳。每个cell中,不同版本的数据按照时间倒序排序,即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担,hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本,二是保存最近一段时间内的版本(比如最近七天)。用户可以针对每个列族进行设置。

三、HBASe单机配置

1) 下载
在Apache/Hadoop项目的网站(hadoop.apache.org/)下载hadoophbase发行包,此处两个发行包的大版本号一定要一致,譬如都是0.18版本:hadoop-0.18.2.tar.gzhbase-0.18.1.tar.gz

2) 使用root身份登录目标服务器系统(Suse10Linux)

首先安装java虚拟机,这个比较简单,随便找个绿色的解压就可以了,在这个例子里面我使用IBMWAS6.1附带的jdk,它的home目录是/opt/IBM/WebSphere/AppServer/java,我们只需要配置系统的环境变量就可以了.
编辑全局环境变量文件/etc/profile,在文件后面添加
exportJAVA_HOME=/opt/IBM/WebSphere/AppServer/java
exportPATH=$JAVA_HOME:$PATH
保存profile文件后使用$source/etc/profile命令重新加载profile,然后随便在一个目录下面运行$java-version查看javahome环境变量和path变量是否被正确加载.
另外到/etc/hosts文件中查看主机映射是否存在,例如127.0.0.1localhost或者什么其他的名字,在这里默认配置本机为localhost,如果需要做分布式的话,本机要做namenode,所以要把所有的datanode的host添加到这里面.

3) 创建hadoop用户,$useraddhadoop可以用$passwdhadoop修改hadoop用户的登录密码.

创建hadoop用户的home目录,如果打算在别处安装

### HBase 配置方法及参数详解 HBase 是一种分布式 NoSQL 数据库,其配置主要通过 `hbase-site.xml` 文件完成。以下是关于 HBase 的一些重要配置参数及其作用: #### 1. **存储路径** - 参数名称:`hbase.rootdir` - 描述:该参数定义了 HBase 存储数据的位置。它是一个共享目录,用于持久化 HBase 中的数据[^1]。 - 默认值:`file:///tmp/hbase-${user.name}/hbase` - 如果未更改此配置项,则 HBase 将会把数据写入 `/tmp/` 路径下。由于操作系统可能会清理临时文件夹的内容,因此在这种情况下,每次服务器重启都会导致数据丢失[^2]。 - 示例配置: ```xml <property> <name>hbase.rootdir</name> <value>hdfs://namenode.example.org:9000/hbase</value> </property> ``` #### 2. **Master 端口** - 参数名称:`hbase.master.port` - 描述:指定 HBase Master 所使用的端口号[^2]。 - 默认值:60000 - 示例配置: ```xml <property> <name>hbase.master.port</name> <value>60010</value> </property> ``` #### 3. **WAL 日志读取器实现类** - 参数名称:`hbase.regionserver.hlog.reader.impl` - 描述:指定了 WAL (Write-Ahead Log) 文件 reader 的具体实现类。通常不需要修改此项,除非有特殊需求[^3]。 - 默认值:`org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader` - 示例配置: ```xml <property> <name>hbase.regionserver.hlog.reader.impl</name> <value>com.custom.log.CustomProtobufLogReader</value> </property> ``` #### 4. **ZooKeeper 地址** - 参数名称:`hbase.zookeeper.quorum` - 描述:指定 ZooKeeper 实例所在的主机列表。HBase 使用 ZooKeeper 来管理集群状态和协调节点之间的通信。 - 示例配置: ```xml <property> <name>hbase.zookeeper.quorum</name> <value>zk-node-1,zk-node-2,zk-node-3</value> </property> ``` #### 5. **RegionServer 处理线程数** - 参数名称:`hbase.regionserver.handler.count` - 描述:控制 RegionServer 上处理客户端请求的工作线程数量。增加此数值可以提高并发性能,但也可能带来更高的 CPU 和内存消耗。 - 默认值:30 - 示例配置: ```xml <property> <name>hbase.regionserver.handler.count</name> <value>60</value> </property> ``` #### 6. **MemStore 刷新阈值** - 参数名称:`hbase.hregion.memstore.flush.size` - 描述:当 MemStore 达到一定大小时触发刷新操作,将数据写入磁盘上的 StoreFile。 - 默认值:134217728 字节(即 128 MB) - 示例配置: ```xml <property> <name>hbase.hregion.memstore.flush.size</name> <value>268435456</value> </property> ``` --- ### 总结 以上列举了一些常见的 HBase 配置参数以及它们的作用。实际部署过程中,应根据具体的业务场景调整这些参数以优化性能。 ```python # Python 示例代码展示如何动态加载 XML 配置并解析特定键值对 import xml.etree.ElementTree as ET def parse_hbase_config(file_path, key_name): tree = ET.parse(file_path) root = tree.getroot() for prop in root.findall('property'): name = prop.find('name').text value = prop.find('value').text if name == key_name: return value return None config_value = parse_hbase_config('/path/to/hbase-site.xml', 'hbase.rootdir') print(f"HBase Root Directory is set to {config_value}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值