狂躁的辣条的博客

一、表的设计优化 1.1、提前创建region分区 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。 1.2、rowKe...

二、写表操作优化 2.1、多个HTable 并发写 创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子： static final Configuration conf = HBaseConfiguration.create(); static final String table_log_name = “user_log”; wTableLog = new HTable[tabl...

三、读表操作优化 3.1 多HTable并发读 创建多个HTable客户端用于读操作，提高读数据的吞吐量，一个例子： static final Configuration conf = HBaseConfiguration.create(); static final String table_log_name = “user_log”; rTableLog = new HTable[tableN...

1、hosts iptables 网络 要确保通信 关闭防火墙 2、时间 需要设置一致 时间服务器 ntpdate yum install -y ntp 直接上网搜ntp时间服务器 ntpdate ntp1.aliyun.com 3、 jdk 4、hadoop集群启动 可以不需要yarn start-dfs.sh namenode datanode zk master re...

Client 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper 保证任何时候，集群中只有一个master 存贮所有Region的寻址入口。 实时监控Region server的上线和下线信息。并实时通知Master 存储HBase的schema和table元数据 Master 为Region server分配region 负责Region server的负载均衡...

转载自：https://blog.51cto.com/12445535/2363376 背景： 1、缓存对于数据库来说极其的重要 2、最理想的情况是，所有数据都能够缓存到内存，这样就不会有任何文件IO请求，读写性能必然会提升到极致。 3、我们并不需要将所有数据都缓存起来，根据二八法则，80%的业务请求都集中在20%的热点数据上， 4、把20%的数据缓存起来，将这部分数据缓存起就可以极大地提升系统性...

Client 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper 保证任何时候，集群中只有一个master 存贮所有Region的寻址入口。 实时监控Region server的上线和下线信息。并实时通知Master 存储HBase的schema和table元数据 Master 为Region server分配region 负责Region server的负载均...

Hbase使用memstore和storefile存储，Hbase只有增加数据，所有的更新和删除操作都是在后续的合并中进行，使得用户在写操作只要进入内存就立即返回实现Hbase高速存储 1、client通过zookeeper的调度，向regionServer发出写数据请求，在Region中写数据 2、数据首先是写入HLog和memstore，memstore的数据是有序的，当memstore达到...