bitbitbyte的博客

WAL机制概述WAL(Write-ahead logging)预写式日志, 为数据库系统提供原子性和持久化的一些列操作, 几乎在所有非内存数据库都会使用. WAL机制不仅可以提升写性能, 还可以保证数据可靠性.WAL关键点在于先写日志再写磁盘。 在数据写入之前首先顺序写入日志，然后再写入缓存，等到缓存写满之后统一落盘。在对数据页进行修改时, 通过将"修改了什么"这个操作记录在日志中, 而不必...

目的在执行刷写时，将部分过时的数据舍去，最多保留列族VERSIONS数量的put类型的cell.在刷写时，会将memstore中的rowkey进行排序后，再刷写，方便在查询时，快速检索数据手动刷写flush "表名"flush "region名"刷写后磁盘上的HFile文件可以通过HBase提供的工具查看habase org.apache.hadoop.hhase.io...

基本概念HFile文件保存在磁盘的hbase表数据文件, 格式为HFile。数据块为存储单元, 默认认大小64KB。MemStore写缓存，由于HFile中的数据要求是有序的，数据是先在MemStore中，排好序后,再刷写到HFile. 每次刷写都会形成一个新的HFile。WAL数据会先写WAL(Write-Ahead logfile)日志文件文件中，然后再写入MemSt...

报错信息在habase/logs/hbase-user-master-node101.log文件中查看报错信息java.net.ConnectException: Call From node101/192.168.100.101 to node101:9000 failed on connection exception: java.net.ConnectException:...

HBase概述Hbase是一张大表(十亿行 * 百万列), 可以支持十亿级数据量的秒级查询.Hbase依赖于hadoopHbase实现了更高的性能, 但在一定程度上牺牲了数据的一致性,(部分一致性).Hbase数据就是有版本, 一条数据可以有多个版本. HBase与hive: HBase相当于一个数据库, 往hdfs中写入数据; 而hive为一个数据仓库, 支持表...