
数据存储和查找
binling
这个作者很懒,什么都没留下…
展开
-
facebook 照片存储系统haystack的学习
之前的solution是POSIX based filesystem: 一些NAS(Network attached storage) 设备mount 到NFS上主要问题:per file metadata 导致过多的disk operation because of metadata lookup。读取一个文件一般至少3个步骤1)一次或者多次disk operation 访问到dir原创 2016-03-11 16:02:23 · 1930 阅读 · 0 评论 -
文件洞的处理
存储引擎经常要面对的一个问题,就是洞的处理。1)Segment File:2)segment file 之间整理3)Copy原创 2016-10-26 16:01:49 · 950 阅读 · 0 评论 -
redis中hashtable 的 rehash/ resizing 策略
依赖于连续存储的数据结构(具体的,就是依赖array)都有一个resizing问题。对于vector,一般的策略就是满的时候double and copy,降到1/4时候 half 。Hashtable也可以这么做,均摊的复杂度模型是一样的。比如load factor (number of entry / hash table size) 大于5的时候触发 resize,创建一个double原创 2016-10-26 16:36:17 · 1455 阅读 · 0 评论 -
MongoDB 的分布式属性(replication and sharding)
Cluster and Replicate和mysql 类似,全局级的replicate 配置(cassandra 是每个key space可以独立配置) ,一个master,多个secondary,写只能在master上一致性:写操作返回可以配置为1)全部副本写成功(complete),2)多数(majority),3)只是primary写成功,4)仅仅是成功交给primary(f原创 2016-11-15 17:18:33 · 1437 阅读 · 0 评论 -
Elastic Search 的分布式特点(和MongoDB对比)
Elastic Search 的分布式特点(和MongoDB对比)回顾一下mongoDB的分布式: replica set:若干mongod组成,只有一个master可写,自动选举 。 sharding: 若干mongos 作为前端router,每个shard对应一个replica set,还有一个replica set作为sharding metatadata的存储(config s原创 2016-12-31 01:24:54 · 6346 阅读 · 0 评论