cephfs journal模块

于 2024-07-19 13:51:51 发布
阅读量209 收藏
点赞数 1
分类专栏： 开源系统运营优化 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yueyingshaqiu01/article/details/140547357
版权

fs元数据更新时，MDS执行journal_and_reply，首先封装成log_event，通过submit_mdlog_entry提交到pending_events中，然后submit_thread将journal flush到metadata pool的rados object（200.XXXXXXXX）中，后续在trime_mdlog时，将dirty inode写到metadata pool的rados object（inodeNum.XXXXXXXX）中

【ceph】ceph-mds journal模块解读
小鱼菜鸟的博客
07-22 733
目录 简单说明 为什么需要journal 详细分析 简单说明 Journaler类负责将内存中已经序列化的数据写入到对应metadata pool中的obj中，同时提供读取该obj的接口 当mds处理客户端请求后，都分装成LogEvent事件，通过journal_and_reply函数中的submit_mdlog_entry,提交到pend...
【ceph】CephFS文件系统和管理
小鱼菜鸟的博客
07-22 5123
目录 CephFS简介 CephFS组件间通信 CephFS MDS组件 CephFS使用方式 CephFS Layout CephFS认证 CephFS的 FSCK & Repair CephFS客户端 内核客户端 FUSE客户端 Rank 设置Rank数量 减少Rank数量 Rank状态查看 高可用配置 Cep...
Ceph FileStore的journal写，影响性能的关键部分
大隐隐于野
09-07 346
journal部分是用户优化的一个重点，可以将高性能的SSD作为journal的存储。client端在0.0135s处就完成了所有的写操作，而physical端这时候只完成了所有的journal操作，那么可以推断，写操作只是当journal完成后就立即返回给client：原因是physical端journal写之外的操作在0.56s才开始，这已经跟第一个写完成相隔50多ms。通过对journal线程的分析，可以发现写请求都是通过io_submit发出的，说明使用的是AIO，并且类型是pwritev。
解析 Ceph: FileJournal 的作用
dibeifu2462的博客
10-25 388
很多的用户在提到 Ceph 性能的时候都会提到“写放大”这点，实际上就是 FileJournal 在起作用。只要使用默认的 FileStore，所有数据包括 metadata 都会在 FileJournal 上预写一份。那么本文就会介绍 FileJournal 在 FileStore 存储引擎上提供的作用。 作用 FileJournal 就是数据库中常见的 WAL(Wr...
cephfs 的数据与元数据组织形式 (cephfs探索二)
a1454927420的博客
02-26 6815
            cephfs 文件系统，由数据和元数据2部分组成。元数据即目录和文件。数据就是文件里的数据和内容。            不管数据还是元数据，最后在底层filestore层，都以对象文件的形式存储。一，cephfs相关模块              1，ceph-fuse，cephfs-kernel                       ceph客户端有2种模式，使用...
CephFS架构详解与深度测试策略
在实际使用中，CephFS客户端可以通过两种方式访问：CephFS内核模块（适用于Linux 2.6.34及以上版本）和CephFS FUSE。客户端与MDS节点交互时，首先获取文件的元数据，然后直接将数据写入OSD。例如，当客户端发起open...
CephFS源码分析
weixin_44389885的博客
01-14 1533
13. 深入研究 13.1 MDS启动阶段分析 //src/ceph_mds.cc int main(int argc, const char **argv) { ceph_pthread_setname(pthread_self(), "ceph-mds"); vector<const char*> args; argv_to...
ceph-mds journal模块解读
不积跬步无以至千里
08-04 2325
ceph-mds journal模块解读 文档：ceph-mds journal模块解读.note 链接：http://note.youdao.com/noteshare?id=f0a7dfbc41c3ca38e68edd47db2be871
【ceph】cephfs内核客户端到MDS的Lookup流程分析--未消化
bandaoyu的note
06-16 911
在文件系统中读写文件时，一般需要先得到操作对象的索引inode信息，在客户端未缓存的情况下，除了调用open外，客户端也会下发lookup或者getattr命令到服务端去获取操作对象的inode。Lookup和getattr IO的mds端流程几乎一致，所以以lookup流程为例进行介绍。客户端以linux 4.18内核源码（cephfs的内核客户端在linux内核中实现）进行分析，服务端使用单活冷备的3节点集群。函数入口：大体流程为创建输入父目录testdir的inode和文件1的名字，创建请求发送到md
mkdir函数_cephfs: MDS处理mkdir(2)
weixin_39730801的博客
11-30 380
接上一篇Server::prepare_new_inode生成CInode过程比较简单，分配一个inode号，以及填充其他的内容到CInode。代码如下CInodeCDentry和CInode都已经创建，接着就是创建CDirCInode::get_or_open_dirfrag代码如下，关于frag_t，这个作为dirfrags中的key，与目录分片有关，具体后面再研究。CDir 创建目录后，需要...
cephfs数据存储
最新发布
qq_15945247的博客
05-23 558
cephfs ceph文件系统
【Ceph】Ceph错误记录 Ceph 运维手册
bandaoyu的note
03-28 5493
unable to open OSD superblock on /var/lib/ceph/osd/ceph-45 key: use_rdma, val: 1 default pool attr 0, nr_hugepages 0, no neet set hugepages 2021-03-28 21:46:07.548765 7f904d555ec0 2818102 20 ERROR bluestore(/var/lib/ceph/osd/ceph-45/block) _read_bdev_lab
【分析】Ceph文件系统修复机制cephfs-data-scan(1)
渡江客涂鸦板
07-29 3189
一般文件系统采用的fsck命令来维护文件系统一致性，但是fsck对cephfs的难度是非常大的，主要原因在于其机制存在根本的区别： 1. cephfs修复的是一个rados集群数据而非一块磁盘设备； 2. 需要精确的识别数据的所有数据片，及这些数据片所属的inode 3. 大量的元数据不可能全部保存到内存中 4. 数据丢失原因可能在于(1)系统bug导致；(2)由于RADOS同步的灾难性故障——可能到时大量数据丢失；(3)bit位翻转(bitrot)
CephFS 介绍及使用经验分享
weixin_44389885的博客
01-14 6798
目录 Ceph架构介绍 NFS介绍 分布式文件系统比较 CephFS介绍 MDS介绍 5.1 单活MDS介绍 5.2 单活MDS高可用 CephFS遇到的部分问题 6.1 客户端缓存问题 6.2 务端缓存不释放 6.3 客户端夯住或者慢查询 6.4 客户端失去连接 6.5 主从切换问题 CephFS问题解决方案 7.1 服务端缓存警告问题 ...
使用ceph的文件存储CephFS
直到世界的尽头
05-27 2万+
Ceph FS是一个支持POSIX接口的文件系统，它使用 Ceph 存储集群来存储数据。文件系统对于客户端来说可以方便的挂载到本地使用。Ceph FS构建在RADOS之上，继承RADOS的容错性和扩展性，支持冗余副本和数据高可靠性。 注意:当前， CephFS 还缺乏健壮得像 ‘fsck’ 这样的检查和修复功能。存储重要数据时需小心使用，因为灾难恢复工具还没开发完。 准备MDS元数据服务器...
CephFS MDS内部锁介绍
weixin_44389885的博客
12-18 1475
转载：https://www.jianshu.com/p/dc16309519d1 锁的作用 MDS中的锁是为了保护log的正常写入。每次对目录树进行操作前，需要先将目标path中涉及的节点加锁，在内存中修改完目录树（修改方式类似于RCU，即生成一个新节点，push_back到 队列 中）后，将新的目录树信息（只是此条path，不是整个目录树）记录到MDS的journal对象中，j...
Ceph集群报错解决方案笔记
热门推荐
SL_World的博客
11-28 2万+
当前Ceph版本和CentOS版本： [root@ceph1 ceph]# ceph -v ceph version 13.2.2 (02899bfda814146b021136e9d8e80eba494e1126) mimic (stable) [root@ceph1 ceph]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (C...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值