weixin_37796929的博客

1本地生成数据[root@master01 sparkjob]# vi test.txt86743654:2,rs123,2,86743654312312:3,rs4543,3,3123127666554:5,rs655,5,76665549787778:6,rs988,6,97877782上传hdfs上[root@master01 sparkjob]# chmod 777 tes...

一.hbase架构1.1、HMaster功能：监控 RegionServer处理 RegionServer 故障转移处理元数据的变更处理 region 的分配或移除在空闲时间进行数据的负载均衡通过 Zookeeper 发布自己的位置给客户端1.2、RegionServer功能：负责存储 HBase 的实际数据处理分配给它的 Region刷新缓存到 HDFS维护 H...

rowkey设计首先应当遵循三大原则：rowkey长度原则rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。一般越短越好，不要超过16个字节，注意原因如下：1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。2、hbase将部分数据加载到...

2、修改JVM配置修改hbase-env.sh文件中的配置参数HBASE_HEAPSIZE 4000 #Hbase使用的JVM堆的大小HBASE_OPTS "‐server ‐XX:+UseConcMarkSweepGC"JVM #GC 选项 HBASE_MANAGES_ZK false #是否使用Zookeeper进行分布式管理 3、修改HBase配置修改hbase-...