- 博客(5)
- 收藏
- 关注
原创 Visitor设计模式与基于Spark RDD的DAG计算
如我们所知,Visitor常用于数据抽象(ADT)与数据处理分离的场合,数据抽象代表某种具有特定数据schem的数据结构,数据处理代表遍历数据结构时实施的处理或者操作。这种设计模式与数据的schema表达式紧密耦合,但是基于特定schema的数据行为却可以丰富多彩。比如常见的double-dispatch(参考Visitor模式与double dispatch),C++容器与容器算法等对于基于...
2018-11-12 22:25:21
342
原创 对象存储的一点点思考
对象存储,一般地,我们认为是指对于给定的唯一的key,获取对应的value。这其实是一种map的数据结构,它仅仅是根据提供的key这单一因素获取指定的value。这里的map指带的是路由的map,非本地基于内存的数据映射,因为路由经常是分布式系统需要重要考虑的因素,也是影响性能的重要因素。对象存储一般用来存储小文件,其大小一般在KB~20MB之间(KB~10MB),如果从终端用户的角度...
2018-11-11 01:15:03
4340
原创 关于vim中替换\或者\\ \\\为其他字符的方法
vim中替换字符通常使用:%s/s1/s2/g(c)对于特殊字符的处理,需要进行转义今记录对于'\'或者'\\'等多个\组成的字符串的替换方法:比如文本中存在一行, "{\\\"name\\\": \\\"helloworld\\\"}", 将该似json串转换为真正的json字符串 "{\"name\":\"helloworld\"}"需要将\\\替换为一个\可使用如
2018-11-08 10:55:31
2745
原创 Ceph 用户管理
Ceph 用户与认证管理用户: 一个人(individuals) 或者系统角色(system actor),比如应用程序可以通过集群用户(client)访问Ceph存储集群用户(cluster user): 具有类型与Id,比如client.user1若无特殊说明,下文中的集群用户被简称为用户当Ceph集群启用了认证功能后,访问集群时必须指定集群用户与访问密钥。若未显示指定,则...
2018-08-23 16:21:15
2769
原创 Ambry 第一篇 整体介绍
Ambry - 分布式 immutable、高可靠、易扩展的基于Blob的存储系统,针对非易变的、大小下至几KB上至GB的对象的存储进行了优化,带来了高吞吐和低延迟,并且允许Client端到存储层进行双向流式端到端访问。该系统支持多数据中心 并且提供廉价存储。 设计目标高可用和水平扩展 高可用和最终一致性。写入时,写入数据被存储在本地数据中心,且异步同步到其他数据中心的副本中。这种写入...
2018-07-25 10:53:49
1885
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人