hbase6

1.进入hbase
bin/hbase shell

2.启动hbase
bin/start-hbase.sh

3.关闭hbase
bin/stop-hbase.sh

4.如果在关闭hbase时,出现…一直等待情况,直接jps,kill
kill -9 5578 //假设5578为hbase端口号

5.进入zookeeper查看是否还有hbase进程
bin/zkCli.sh
ls /

6.查看所有节点当前的进程
util.sh

7.创建表
create ‘student’ , ‘info’

8.插入数据
put ‘student’ , ‘1001’ , ‘info:sex’ , ‘male’
put ‘student’ , ‘1001’ , ‘info:age’ , ‘18’

9.扫描查看表数据
scan ‘student’
scan ‘student’ , { startrow=>‘1001’ , stoprow=>‘1001’ }
scan ‘student’ , { startrow=>‘1001’ }

10.查看表结构
describe ‘student’

11.更新指定字段的数据
put ‘student’ , ‘1001’ , ‘info:sex’ , ‘female’
put ‘student’ , ‘1001’ , ‘info:age’ , ‘30’

12.查看 指定行 或 指定列族 的数据
get ‘student’ , ‘1001’
get ‘student’ , ‘1001’ , ‘info:sex’

13.统计表数据行数
count ‘student’

14.将info列族中的数据存放3个版本
alter ‘student’ , { name=>‘info’ , versions=>3 }
get ‘student’ , ‘1001’ , {column=>‘info:name’,version=>3}

08-22
### HBase概述 HBase是一个分布式的、可扩展的、基于Hadoop的NoSQL数据库,专为处理大规模数据集而设计。它基于Google的Bigtable论文实现,并与Hadoop生态系统紧密集成。HBase支持随机、实时的读写操作,适用于需要快速访问海量数据的场景。 HBase的核心架构包括以下几个关键组件: - **HMaster**:负责管理HBase集群中的RegionServer,包括分配Region、负载均衡等任务。 - **RegionServer**:负责存储和管理一个或多个Region,处理客户端的读写请求。 - **ZooKeeper**:用于协调HBase集群中的各个节点,提供元数据存储和故障恢复功能。 - **HRegion**:数据在HBase中被划分为多个Region,每个Region负责一部分行键范围的数据。 - **HStore**:每个Region由多个HStore组成,HStore负责管理列族的数据。 - **MemStore和HFile**:数据首先写入内存中的MemStore,当达到一定大小后,会被刷写到磁盘上的HFile中[^3]。 ### HBase使用场景 HBase适用于需要处理大规模数据集,并且要求高可用性和可扩展性的场景。以下是一些常见的使用场景: 1. **大数据实时查询**:HBase支持随机读写操作,适用于需要实时查询大规模数据的场景,如日志分析、用户行为跟踪等。 2. **分布式存储**:HBase可以存储PB级别的数据,并且支持水平扩展,适用于需要存储海量数据的应用。 3. **时间序列数据**:HBase的LSM树结构适合处理时间序列数据,如传感器数据、金融交易记录等。 4. **推荐系统**:HBase可以用于存储用户的行为数据,结合实时查询能力,支持推荐系统的实时更新和查询需求。 5. **消息队列**:HBase可以作为消息队列系统的一部分,存储和管理大量的消息数据。 ### HBase的配置与安全通信 为了确保HBase的安全性,可以配置安全RPC(Remote Procedure Call)通信,并启用加密通信。在HBase中,可以通过修改`hbase-site.xml`文件来配置加密通信。具体来说,可以在每个客户端的配置文件中添加以下内容: ```xml <property> <name>hbase.rpc.protection</name> <value>privacy</value> </property> ``` 该配置项启用了HBase的隐私保护功能,确保客户端与服务器之间的通信是加密的,从而防止数据在传输过程中被窃取或篡改[^1]。 ### HBase的表管理与数据操作 HBase提供了丰富的表管理和数据操作命令,可以通过HBase Shell进行交互。例如,可以使用`list_regions`命令查看表的Region信息: ```shell hbase> list_regions 'table_name' hbase> list_regions 'table_name', 'server_name' hbase> list_regions 'table_name', {SERVER_NAME => 'server_name', LOCALITY_THRESHOLD => 0.8} hbase> list_regions 'table_name', {SERVER_NAME => 'server_name', LOCALITY_THRESHOLD => 0.8}, ['SERVER_NAME'] ``` 这些命令可以帮助用户了解表的分布情况,优化数据的本地性,从而提高查询性能[^2]。 ### HBase的数据存储机制 HBase的数据存储基于分布式哈希表(DHT)和LSM树(Log-Structured Merge-Tree)算法。具体来说,HBase将数据按照行键(Row Key)进行分区,每个分区称为一个Region。数据首先写入内存中的MemStore,当MemStore达到一定大小后,数据会被刷写到磁盘上的HFile中。为了提高查询性能,HBase会定期对磁盘上的HFile进行合并操作,减少数据的冗余和碎片化[^3]。 ### HBase与Phoenix的集成 HBase可以通过Apache Phoenix进行SQL查询。Phoenix提供了两种方式来创建表映射: 1. **HBase中不存在表时**:可以直接使用`CREATE TABLE`指令创建表,系统会自动在Phoenix和HBase中创建相应的表,并根据指令内的参数对表结构进行初始化。 2. **HBase中已经存在表时**:可以以类似创建视图的方式创建关联表,只需将`CREATE VIEW`改为`CREATE TABLE`即可。例如: ```sql CREATE TABLE "test"(id VARCHAR PRIMARY KEY,"info1"."name" VARCHAR, "info2"."address" VARCHAR) COLUMN_ENCODED_BYTES=0; ``` 这种方式允许用户通过SQL语法操作HBase中的数据,简化了HBase的使用难度[^4]。 ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值