诸葛子房的博客

一种HBase表数据迁移方法的优化 1.背景调研： 目前存在的hbase数据迁移主要分如下几类： 根据上图，可以看出： 其实主要分为两种方式：(1)hadoop层：因为hbase底层是基于hdfs存储的，所以可以通过把hdfs上的数据拷贝的方式来实现，即：DistCp。 (2)hbase层：主要是基于hbase数据层的 CopyTable:需要scan全表数据，效率比较低下...

hbase系列 jvm https://www.cnblogs.com/jiyukai/p/6665199.html hbase https://blog.youkuaiyun.com/lizhitao/article/details/52499668 posted @ 2018-11-06 18:15 诸葛子房 阅读(...) 评论(...) 编辑 收藏 ...

写入流程 WAL(日志文件)、MemStore(内存) MemStore flush到HFile 参考LSM Tree流程：https://www.cnblogs.com/yanghuahui/p/3483754.html 写性能优化 读取流程 读性能优化 可参考：https://yq.aliyun.com/articles/670748?sp...

突发宕机，Kafka写入的数据如何保证不丢失？ 我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了 Kafka 的核心架构原理。 Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！ 所以说，这里就得考虑数据的分布式存储了，我们结合 Kafka 的具体情况来说说。 在 Kafka 里面，有一个核心...

windows HBase 安装 本文转载自https://www.cnblogs.com/davidwang456/p/9026519.html 下载目前最新版本 http://mirrors.hust.edu.cn/apache/hbase/stable/ 最新版本 hbase-1.2.6 1. 解压到D:\software\hbase-1.2.6 进入conf目录 配置hb...

1.pom <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.5</version> </dependency> 2.api...