JuiceFS：写流程源码解析+刷盘+数据一致性分析

已于 2023-02-08 21:56:53 修改
阅读量1.1k 收藏 4
点赞数 1
分类专栏： JuiceFS 文章标签： 分布式 linux 云计算 大数据 数据库
于 2023-01-13 19:51:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/easonwx/article/details/128651511
版权

引言

juicefs是一款面向云原生设计的高性能分布式文件系统，其有如下特点：

  • 数据存储和元数据存储分离，可以适配多种数据和元数据存储引擎。

  • 后端存储可以直接对接各种对象存储，使用起来更方便，更加适配云服务趋势。

相关技术架构可直接参考：https://juicefs.com/docs/zh/community/architecture

写流程cache简要说明

cache分为两层，磁盘cache和内存cache

  • 磁盘cache：数据刷盘时先写入磁盘cache，即本地文件系统，然后将文件上传到对象存储，然后再将本地文件系统文件删除掉

  • 内存cache：内存cache只记录key和d

最低0.47元/天 解锁文章
JuiceFS v2发布，经过全面测试验证！数据库实例与源代码详解
GmwClass的博客
09-26 123
更强大的元数据存储：JuiceFS v2采用了高性能的Key-Value存储引擎，将元数据存储与数据存储分离，提高了系统的可扩展性和性能。支持多种数据存储后端：JuiceFS v2支持多种数据存储后端，包括本地磁盘、云存储和分布式存储系统，如AWS S3、阿里云OSS和Ceph等。增强的数据一致性：JuiceFS v2引入了分布式锁和事务机制，确保了多客户端并发访问数据时的一致性。更好的性能和可扩展性：JuiceFS v2通过优化元数据操作和数据存储访问路径，提升了系统的性能和可扩展性。
JuiceFS：用户态fuse接口
easonwx的博客
01-12 1098
juicefs是一款面向云原生设计的高性能分布式文件系统，本文介绍fuse相关用户态接口及功能。
JuiceFS__持久化缓存源码走读
AlexanderGan的博客
05-05 810
总体来说，JuiceFS的持久化缓存实现方案比较简洁清楚，每个缓存块对应一个文件，通过定时清理空间，使可用空间保持在总容量5%以上，淘汰策略通过遍历keys哈希表来随机两两对比，清除atime较小的那个缓存块文件。该种淘汰策略相比经典的LRU策略更加简单，定时批量清理，留出足够的空间。这种方式清理缓存没有严格按照atime排序进行，可能在清理的准确性上稍弱。
JuiceFS：读流程源码分析 + 预取 + 淘汰
easonwx的博客
02-08 882
juicefs是一款面向云原生设计的高性能分布式文件系统，本文对读流程的源码进行分析。
juicefs IO流程源码解读
yueyingshaqiu01的博客
04-11 783
【代码】juicefs IO流程源码解读。
JuiceFS分布式文件系统源码分析（Java层）
阿甘兄
11-07 1539
讲解了hadoop-common java api层面JuiceFS的实现流程
juicefs源码1
wade1010的专栏
02-12 285
因此，你会发现在对象存储平台的文件浏览器中找不到存入 JuiceFS 的源文件，存储桶中只有一个 chunks 目录和一堆数字编号的目录和文件。不要惊慌，这正是 JuiceFS 高性能运作的秘诀！从命名规则里面也能看出，数据是支持按partition进行分区存储的，也就是说最终存储数据的bucket可以是多个，这样有助于提高并发能力，特别是AWS S3每个bucket是有TPS性能上限的。补充一下源码中，每个blocks的命名规则定义，也就是最终存储在对象存储系统中的对象key名称。
JuiceFS：format和mount源码解读
easonwx的博客
01-10 701
juicefs是一款面向云原生设计的高性能分布式文件系统，本文对format和mount流程源码进行分析。
juicefs源码format命令阅读
guaizaiguaizai的博客
08-30 720
windows下调试juicefs源码，整理format的代码流程
如何利用 JuiceFS 的性能工具做文件系统分析和调优
JuiceFS的博客
11-25 397
JuiceFS 是一款面向云原生环境设计的高性能 POSIX 文件系统，在 AGPL v3.0 开源协议下发布。作为一个云上的分布式文件系统，任何存入 JuiceFS 的数据都会按照一定规则拆分成数据块存入对象存储（如 Amazon S3），相对应的元数据则持久化在独立的数据库中。这种结构决定了 JuiceFS 的存储空间可以根据数据量弹性伸缩，可靠地存储大规模的数据，同时支持在多主机之间共享挂载，实现跨云跨地区的数据共享和迁移。 从 v0.13 发布以来， JuiceFS 新增了多项与性能监测和分析相关的
juicefs debug ls看源码
wade1010的专栏
02-12 231
-------------------juicefs pkg/meta/redis.go结束----------------------------------------juicefs fuse.go开始----------------------------------------go-fuse库开始----------------------------------------go-fuse库结束--------------------juicefs代码(fuse.go)::ReleaseDir。
juicefs：JuiceFS是基于Redis和S3构建的分布式POSIX文件系统
02-21
JuiceFS是基于和对象存储（例如Amazon S3）构建的开源POSIX文件系统，针对云本机环境进行了设计和优化。 通过使用广泛采用的Redis和S3作为持久性存储，JuiceFS可以用作无状态中间件，以使许多应用程序轻松共享数据。 突出的功能是： 完全兼容POSIX ：JuiceFS是完全兼容POSIX的文件系统。 现有的应用程序可以直接使用它。 请参阅下面的。 出色的性能：延迟可以低至几毫秒，并且吞吐量可以扩展到几乎无限。 请参阅下面的。 Cloud Native ：通过利用云对象存储，您可以扩展存储和独立计算（也称为分解存储和计算架构）。 共享：JuiceFS是一个共享文件存储，可以由许多客户端读取和写入。 全局文件锁：JuiceFS支持BSD锁（flock）和POSIX记录锁（fcntl）。 数据压缩：默认情况下，JuiceFS使用压缩所有数据，也可以使用 。
juicefs debug echo看源码
wade1010的专栏
02-12 241
创建完inode继续执行juicefs代码(base.go)::Create->fh = v.newFileHandle(inode, attr.Length, flags)创建完元数据后继续执行juicefs代码(base.go)::Create->m.of.Open(*inode, attr)juicefs代码(base.go)::Create->v.UpdateLength(inode, attr)juicefs代码(base.go)::Create->m.of.Open(*inode, attr)
分布式文件系统：JuiceFS 技术架构
GIS摆渡人
06-26 778
，而是在新分配或者已有 Slice 中进行写入，以新 Block 的形式上传至对象存储，然后修改对应文件的元数据，在 Chunk 的 Slice 列表中追加新 Slice。目录和一堆数字编号的目录和文件，不必惊慌，这正是经过 JuiceFS 拆分存储的数据块。与传统文件系统只能使用本地磁盘存储数据和对应的元数据的模式不同，JuiceFS 会将数据格式化以后存储在对象存储（云存储），同时会将文件的元数据存储在专门的元数据服务中，这样的架构让 JuiceFS 成为一个强一致性的高性能分布式文件系统。
【JuiceFS】理解juicefs缓存
metaopen的博客
12-04 1777
对于一个由对象存储和数据库组合驱动的文件系统，缓存是本地客户端与远端服务之间高效交互的重要纽带。读写的数据可以提前或者异步载入缓存，再由客户端在后台与远端服务交互执行异步上传或预取数据。相比直接与远端服务交互，采用缓存技术可以大大降低存储操作的延时并提高数据吞吐量。JuiceFS 提供包括元数据缓存、数据读写缓存等多种缓存机制。【学会思考】上面我们知道了缓存的优势，为什么要引入缓存。还要考虑我们的应用场景 ，真的需要缓存吗？缓存提升性能的前提是什么？
juicefs使用
最新发布
Fairy的博客
12-28 629
juicefs搭建
小团队如何妙用 JuiceFS
JuiceFS的博客
04-01 1025
早些年还在 ENJOY 的时候, 就已经在用 JuiceFS, 并且一路伴随着我工作过的四家小公司, 这玩意对我来说, 已经成了理所应当不可或缺的基础设施, 对于我服务过的小团队而言, 更是实实在在的好帮手. 趁着最近的征文活动, 继续拓展一下我的小团队系列, 介绍下多年来我们团队都在如何使用 JuiceFS. 不过这里讲到的用途, 恐怕都不算什么"妙用", JuiceFS 是一个大社区了, 这些用法恐怕早被玩的滚瓜烂熟, 不过无妨, 本文其实是内部项目文档的拓展, 主要记录一些维护过程的心得体会. 妙用:
RocketMQ中Broker的刷盘源码分析
Z_ChenChen的博客
08-07 308
上一篇博客简单提了下CommitLog的刷盘 【RocketMQ中Broker的启动源码分析（二）】 CommitLog有两种刷盘实现： public enum FlushDiskType { SYNC_FLUSH, ASYNC_FLUSH } 同步和异步，同步刷盘由GroupCommitService实现，异步刷盘由FlushRealTimeService实现，默认采用异步刷...
分布式文件系统：JuiceFS 技术比对
GIS摆渡人
06-26 2236
S3QL采用对象存储 + SQLite 的存储结构，数据分块存储既能提高文件的读写效率，也能降低文件修改时的资源开销。贴心的提供了快照、数据去重、数据保持等高级功能，加之默认的数据压缩和数据加密，让 S3QL 非常适合个人在云存储上用较低的成本、更安全的存储文件。JuiceFS支持对象存储、HDFS、WebDAV、本地磁盘作为数据存储引擎，支持 Redis、TiKV、MySQL、MariaDB、PostgreSQL、SQLite 等流行的数据作为元数据存储引擎。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值