
Nosql
文章平均质量分 83
Nosql
kobexzf
这个作者很懒,什么都没留下…
展开
-
记一次hbase写入慢排查分析
版本:1.2.6现象:hbase写入耗时长,单机slow put数量上升,单机flush慢,内存达到高水位block request至高水位下(内存达到低水位会不断flush至低水位下),目前24G内存,高水位9.6G(240.4),低水位7.68G(9.60.8)具体分析:1 flush慢 并非写入hdfs慢,怀疑是scan耗时太长,甚至可能死锁了2 flush的size大 很好理解,并不是说达到128MB立即就flush了,是扔到flush队列了,flush队列可能有普通region的flush(队列,原创 2022-07-07 11:11:13 · 1815 阅读 · 0 评论 -
hbase 常见问题
1 HBase什么时候做minor major compact 我们都知道compact分为两类,一类叫Minor compact ,一类叫Major compact, 两者有什么区别呢? 两者的区别在于:Minor compact只是进行文件merge操作,而Major compact除了做文件Merge操作,还会将其中的delete项删除。 hbase为了防止小文件(被刷到磁盘的menstore)过多,以保证保证查询效率,hbase需要在必要的时候将这些小的store file合并成相对较大的store原创 2022-01-19 10:15:54 · 976 阅读 · 0 评论 -
hbase
hlog,memstore,storefile本质都是一样的,都是记录rowkey+column+timestamp(log seq no)的一次新增,但是为了快速查找memstore和storefile是b+树进行组织的,hlog是顺序插入的 lsm树:将对数据的修改增量保持在内存中,达到指定的大小限制后将这些修改操作批量写入磁盘,牺牲了部分读性能,用来大幅提高写性能 (用户的add update delete 本质都是新增,只是维护了多个数据版本,delete维护了一个数据类似null的版本),用户通过原创 2020-06-29 17:34:49 · 124 阅读 · 0 评论 -
各存储系统分片和副本
啊啊原创 2019-07-15 14:14:17 · 1236 阅读 · 0 评论 -
mongodb-1
database,collection,document,field,index,primary key(_id) show dbs; db; use dbName(切换且创建); db.dropDatabase();db.createCollection(name,option);往不存在collection插入document会自动创建collection db.colName(当前数据库的c...原创 2019-07-11 21:42:40 · 136 阅读 · 0 评论