
存储技术
文章平均质量分 92
winux
这个作者很懒,什么都没留下…
展开
-
Qemu virtio-blk 后端驱动开发 - PureFlash对接
如何为qemu添加新的存储类型驱动原创 2024-07-21 23:46:38 · 1511 阅读 · 0 评论 -
ViveNAS性能调试笔记(一)
ViveNAS是一个开源的NAS文件服务软件,有一套独立自创的架构。基于PureFlahs, rocksdb, ganesha。本文是开发过程的性能调试与分析记录,方便开发者了解项目的状态,以及调试思路。原创 2024-03-31 20:59:08 · 816 阅读 · 0 评论 -
PureFlash v1.9.1特性介绍
开源分布式存储系统PureFlash v1.9.1版本特性介绍原创 2024-02-26 23:09:04 · 949 阅读 · 0 评论 -
利用RocksDB 的plugin机制对接ServerSAN
本文示例了一个rocksdb plugin的开发,包括编码过程与编译方法。本文示例的了rocksdb跳过文件系统与ServerSAN进行直接对接的方法。原创 2022-03-07 23:26:59 · 2781 阅读 · 0 评论 -
io_uring异步IO框架介绍与示例
https://blogs.oracle.com/linux/an-introduction-to-the-io_uring-asynchronous-io-framework翻译 2021-06-20 23:29:22 · 2061 阅读 · 0 评论 -
ServerSAN前端接口设计
前端接口从大的概念分可以分为标准接口和私有接口。标准接口也就是业界广为接受,并且被内置在操作系统里的接口。对于SAN存储也就是SCSI/iSCSI, 以及未来可能出现的NVMe over Fabric(NoF)原创 2021-06-05 09:51:36 · 390 阅读 · 0 评论 -
NetBRIC S5:“另类”设计的全闪存阵列
NetBRIC S5:“另类”设计的全闪存阵列转自:https://aijishu.com/a/1060000000131182自从开启《企业存储技术》这个公众号以来,我写了不少PCIe SSD闪存组件的东西,这次也来写一篇闪存系统方面的。应该有不少同行朋友听说了,今年的Facebook OCP峰会上有一家中国公司做了演讲,主题为“the ALL-FLASH Software Defined Storage for CLOUD”——所指的产品就是NetBRIC S5。软件定义这个词,似乎总是转载 2021-04-18 23:35:32 · 544 阅读 · 0 评论 -
PureFlash存储系统介绍与上手指南
PureFlash是一个开源的分布式存储系统,项目起始于2016年。本文介绍将介绍PureFlash系统的主要特点,以及基于容器的快速上手体验。PureFlash的开源项目位置:https://github.com/cocalele/PureFlash一、PureFlash整体介绍PureFlash是一个开源的ServeSAN实现,也就是通过大量的通用服务器,加上PureFlash的软件系统,构造出一套能满足企业各种业务需求的分布式SAN存储。PureFlash是为全闪存时代而设计的存储系.原创 2021-03-06 21:05:10 · 1570 阅读 · 6 评论 -
ServerSAN的数据一致性设计
这一篇我们来谈一下ServerSAN的数据一致性。就一致性这个概念而言,从工程可理解的角度可以分为三个类型,严格一致性,强一致性,弱一致性。**严格一致性:**对于数据项x的任何读操作将返回最近一次对x进行的写操作的结果所对应的值。严格一致性中存在的问题是它依赖于绝对的全局时间。对于所有的进程来说,所有写操作都是瞬间可见的,系统维持着一个绝对的全局时间顺序。举个例子来说,住在新疆的阿凡提给北京的康熙火车托运箱葡萄干,立刻又给康熙打了个电话说:‘我给你托运了箱葡萄干,快去接站’。康熙马上到火车站一看真就原创 2021-02-24 23:44:38 · 438 阅读 · 1 评论 -
ServerSAN系统元数据管理设计
本文首先就ServerSAN系统的元数据管理做一般的探讨,然后重点以PureFlash为例说明元数据管理的实践。元数据,也就是数据的说明书。当一块硬盘插到电脑上,电脑就看到一个块设备,这个块设备从LBA 0开始到LBA N,顺序编址,无比平滑。然而我们知道在物理上HDD实际是按Cylinder(柱面),Header(磁头), Sector(扇区),SSD则可能更复杂,哪个Chip, 哪个die, 哪个Block, 哪个Page。记录这些物理规格信息(CHS)以及逻辑信息与之的对应关系就是元数据。对于原创 2021-02-06 19:55:19 · 740 阅读 · 2 评论 -
分布式存储系统设计的若干问题(三)
问题9:网络连接问题10: 线程模型问题11: multipath与failover,load balance问题12:内部探针其他功能:audit, log原创 2021-01-08 23:08:19 · 515 阅读 · 0 评论 -
分布式存储系统设计的若干问题(二)
问题5:快照实现方案一个现代的存储系统,快照已经成为了必选项。快照除了直接用于保存系统的中间状态(比如VM的中间状态),还是其他功能包括克隆,备份,容灾功能的基础。快照就是的功能就是给存储拍一个照片,记住某个时刻的数据内容以备随时提取和回退。后面无论对数据再做读写操作,快照的内容总是保持不变。从这个原理上讲,如果在用户发出做快照命令时,迅速把某个volume的数据复制一份,这就是做了快照了,这个基本的做法就是SNIA定义的Split mirror。然而一个存储系统的实现往往不能采取这么简单粗暴的方法,一原创 2020-09-01 23:34:00 · 386 阅读 · 0 评论 -
分布式存储系统设计的若干问题(一)
本文要讨论的分布式存储系统是指狭义存储系统,即提供块存储,文件存储和对象存储的分布式系统。进一步对分布式的限定,我们这里讨论的是部署在同一个机房内的,由商用服务器构成的分布式存储系统。跨机房,跨地域的分布式系统暂不讨论。作为第一篇,我们先罗列定义问题,并说明这些问题对整个系统的意义。每个问题都有不同的答案并各有优缺点,本篇并不讨论具体的优缺点以及该如何进行选择。问题1: 集中式元数据管理vs分布式元数据集中式元数据管理的典型例子就是HDFS的NameServer,所有数据在集群中的分布信息集中在Name原创 2020-08-25 00:44:13 · 1266 阅读 · 0 评论 -
ceph rados ls命令卡死不返回
在测试ceph故障时,发现如果osd节点故障,那么 rados ls命令将长时间hang住,一直不返回。测试是这样进行的,搭建一个由1个monitor, 3个OSD组成的集群。创建一个pool tp, size=3,关闭osd2, osd3运行命令rados -p tp ls ,会发现命令一直不返回。从ceph的bug库里面看到一个类似的记录: http://tracker.cep...原创 2018-11-29 23:39:58 · 4200 阅读 · 0 评论