JinVijay的博客

1. --hbase-env.sh 注意:解开注释 export JAVA_HOME=/opt/apps/jdk1.8.0_141/ esc /ZK 回车 export HBASE_MANAGES_ZK=false 2. --hbase-site.xml <!-- 指定hbase在HDFS上存储的路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://linux01:.

--general 组 status 查看集群状态 version 查看版本号 whoami 查看用户 -- ddl 组

shell--buckload 数据准备 1,zss,23,M 2,lss,33,M 3,fj,35,F 4,ny,42,M 5,xq,44,F 1)在hbase中创建表 create 'tb_friends' , 'cf' 2) 使用shell命令将数据转换成hfile文件 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \ -- 使用类执行操作 -Dimporttsv.separator=, \ --指定行数据的字段分隔符 -D

写数据流程 1.客户端请求ZK获取存储元数据信息的META表所在的机器 2.请求META表所在的机器,下载META表到客户端并缓存到本地 3.客户端解析META表,获取到要写的数据所在的RegionServer的机器 4.请求对应的RegionServer下的Region写数据 5.RegionServer接收到数据后会分别在HLog和MemStore上写一份 6.MemStore达到一个阈值后把数据刷写成一个StoreFile文件.若MemStore中的数据有丢失,则可以从HLog上恢复

Region级别-跨列族 Region的其中一个MemStore大小达到阈值(hbase.hregion.memstore.flush.size),该Region所有MemStore一起flush,写入HDFS.默认大小是128M RegionServer级别 当一个RS内的全部MemStore使用内存总量所占比例达到了阈值(hbase.regionserver.global.memstore.upperLimit),那么会一起按Region的MemStore用量降序排列flush,直到降低到阈值(h

Region为什么要拆分?随着数据的增加,一个Region管理的数据条数越来越多,出现传统SQL数据库的单节点并发问题,将region拆分,将region移动均衡到其他的节点! 1.默认的拆分策略(大小) 当region的大小达到一定大小的时候会被拆分 IncreasingToUpperBoundRegionSplitPolicy split策略实现类 <property> <name>hbase.regionserver.region.split.policy&lt