walteryanghh的博客

1，使用vmware创建4台虚拟机(rhel-server-7.0-x86_64-dvd.iso)，并且修改主机名 hostnamectl set-hostname cs-hdp-xxxx cs-hdp-nn01 cs-hdp-dn01 cs-hdp-dn02 cs-hdp-dn03 2，关闭防火墙，并关闭开机启动项 systemctl status firewalld.service syste...

HBASE修炼之路——00001 简介 1、列式存储：对于特定的查询，不是所有的值都是必需的。 2、压缩：列的数据类型天生是相似的，更利于压缩（增量压缩、 前缀压缩） 3、HBASE： 1）不是一个列式存储的数据库； 2）利用了磁盘上的列存储格式进行存储数据；（与RDBMS相似） 3）适合键值对、有序的数据存取； 4、减轻数据库的CPU和I/O压力： 1）读写分离； 2）增加缓存； 3）分区； 5...

一、数据定义语言（DDL）：Data Definition Language 1、创建表 create ‘s_behavior’,{NAME => ‘pc’} ,{NAME => ‘ph’} 2、查看所有表： list 3、查看建表语句： describe ‘s_behavior’ 4、修改表： 1）下线： disable ‘s_behavior’ 2）修改： al...

一、zookeeper超时时间配置 zoo.cfg ticktime=2000 ms 默认ZK会话的超时时间在 2tickTime ~ 20tickTime 范围内 二、JVM参数（CMS垃圾回收器） 1）老年代使用CMS收集器 -XX:+UseConcMarkSweepGC 2）新生代使用并行回收算法（ParNew） -XX:UseParNewGC 3）指定JVM堆内存最大可用值和...

1、根据GC日志及HBASE日志分析如下：绝大部分情况下，regionsever宕机发生时，JVM都会触发concurrent mode failure。 出现此现象的原因主要有三个： 第一：CMS触发太晚了，CMS GC触发时，年老代所剩下的空间不足以满足新对象对空间分配请求 1、降低触发CMS的阀值,前期已新增参数（-XX:CMSInitiatingOccupancyFraction=70），...

一、垃圾回收优化 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:HBASEHOME/logs/gc−HBASE_HOME/logs/gc-HBASEH​OME/logs/gc−(hostname)-hbase.log -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSIn...

1、DATA_BLOCK_ENCODING ——数据块编码 默认不启动，主要针对行键，用时间换空间。 2、BLOOMFILTER ——布隆过滤器 默认不启动， 3、REPLICATION_SCOPE——集群间数据复制开关 默认为0，表示不启动；如果值=1，代表启动 4、VERSIONS——HBase对表的数据行可以保留的版本（时间戳）个数 5、COMPRESSION——压缩方式 （当前SNAPPY...

1、Hbase_master_heapsize（64GB） Hbase Master通常没有什么负载，Hbase_master_heapsize一般设置为4-8 GB。Master主要负责元数据的操作（例如：创建/删除表），以及通过zookeeper znodes持续观察 regionserver的健康状况，当regionserver 宕机时会重新分配region。 由于Master中的调度管理...