- 博客(46)
- 收藏
- 关注
RSS订阅原创 io_uring 避坑指南
io_uring是Linux 内核5.1引入的高性能异步I/O框架，支持零拷贝、批量提交多种I/O操作。io_uring通过请求/完成队列机制实现异步IO。容易踩的坑包括：buffer注册限制、一个 IO 操作可能有多个完成通知、IO 未完成前需要保证 buffer的有效性等等。
2025-11-10 19:23:21
547
原创 FastDFS 6.15 发布，支持多线程同步
分布式文件系统FastDFS 6.15 发布，主要改进：storage server 之间的文件同步支持多线程等等。
2025-10-30 11:25:26
394
原创 FastDFS最新通信协议详解
FastDFS采用二进制TCP通信协议，一个数据包由 包头（header）和包体（body）组成。本文将详细列举FastDFS常用命令的通信协议。
2025-09-28 16:33:41
762
2
原创 C语言sprintf的高效替代方案
C语言的sprintf和snprintf功能强大，但性能低下。本文介绍替换sprintf和snprintf的高效实现方案：即直接拼接字符串，需要实现 itoa、ftoa、int2hex等转换函数。
2025-09-11 14:29:36
251
原创 FastDFS V6双IP特性及配置
FastDFS V6.0开始支持双IP，一个内网IP，一个外网IP，可以支持NAT方式的内网和外网两个IP，解决跨机房或混合云部署问题。本文主要内容为V6双IP特性和配置说明。
2025-09-07 10:07:55
392
原创 FastCFS 5.4.1 发布，性能优化
FastCFSV5.4.1发布，重点优化性能：替换低效的sprintf 和snprintf 函数为字符串拼接；升级libfuse至3.16.2 。
2025-08-15 10:20:00
270
原创 FastCFS 5.4 发布，性能提升和bug修复
高性能分布式文件系统FastCFS 5.4发布，主要是性能提升和bug修复。libdiskallocator 针对 faststore 进行了性能优化：当回收 trunk 进行数据迁移时，合并相邻 slice 并减少数据读取次数；当一个 trunk 空间分配完毕并完成数据写入，合并相邻的 slice 以减少 slice 数量。
2025-04-06 09:50:14
261
原创 FastCFS V5.3发布，支持IPv6和bug修复
FastCFS发布了V5.1、V5.2和V5.3，这3个版本主要改进：支持IPv6、bug修复和几个小改进。
2024-03-20 08:57:27
410
原创 FastDFS V6.11发布，支持IPv6
分布式文件系统FastDFS V6.11发布，主要改进：支持IPv6以及修复了双IP方式支持NAT网络的问题。
2023-12-13 15:39:46
866
2
原创 FastCFS V5.0发布，原生支持RDMA
FastCFS 5.0使用ibverbs原生方式适配了RDMA网络，可以充分发挥RDMA网络的低延迟和高吞吐特性。
2023-11-22 10:48:12
237
原创 FastCFS V4.3发布，小改进和bug修复
高性能分布式文件系统FastCFS 4.3发布，主要包含2个小改进和7个bug修复。项目托管在github和gitee，欢迎大家测试和使用。
2023-08-07 10:30:21
187
原创 FastCFS V4.0发布，支持单机PB级存储
FastCFS V4.0发布，主要改进：faststore引入存储插件，存储节点以有限内存（如32GB）支持上百TB的存储空间。
2023-06-05 09:09:41
362
原创 基于FastCFS的NFS搭建及常见问题排查
通过 POSIX 兼容性测试的v3.7发布后，FastCFS完全可以作为NFS的后端存储，本文着重介绍FastCFS作为后端存储的NFS搭建及常见问题排查。
2023-01-27 10:05:29
621
1
原创 FastCFS v3.7.1发布，支持用户附加组
FastCFS v3.7.1发布，支持用户附加组，完全符合POSIX标准，解决了在FastCFS的fuse client上跑NFS可能碰到的访问权限问题。
2023-01-16 09:46:16
218
原创 FastCFS在eRDMA与传统网络环境下对比测试分享
只有一组3副本服务器的情况下，FastCFS 8并发随机读超过11万IOPS，达到了生产环境数据库的磁盘IO性能要求。在配备NVMe SSD及RDMA网络的情况下，FastCFS完全可以做到低延迟和高吞吐，满足高性能场景下的文件读写性能要求。
2022-12-05 10:38:43
672
原创 FastCFS 3.7.0 发布，通过 POSIX 兼容性测试
FastCFS 3.7.0 发布，主要通过了 POSIX 兼容性测试以及修复了 7 个 bug，FastCFS 的稳定性进一步提升。
2022-11-22 10:31:28
272
原创 FastCFS实战半年成长记
今年5月份A公司对FastCFS进行了严格细致的测试，促进了FastCFS在可靠性、稳定性和性能方面的显著提升，为此FastCFS在半年时间内发布了6个版本。
2022-10-11 16:52:41
726
原创 FastCFS亿级小文件存储案例分享
近期一家金融企业使用FastCFS存储CVS格式的账单数据，目前文件数超过一亿，还在持续增长中。。。该用户开启了FastDIR的存储引擎插件，实现秒级重启并且显著降低内存占用。
2022-10-09 10:13:41
573
原创 FastDFS V6.09 发布，整合网络框架 libserverframe
FastDFS V6.09 发布，整合网络框架 libserverframe以及其他两项小改进。
2022-09-15 11:09:11
1191
1
原创 FastCFS v3.6发布，文件读写性能大幅提升
FastCFS v3.6发布，文件读写性能大幅提升，尤其顺序写取得了突破，2个fio并发线程即可把3gb网络带宽打满。
2022-09-08 07:54:17
310
原创 FastCFS V3.5.1发布，写入数据过半数自适应
FastCFS V3.5.1发布，主要支持两副本写入数据过半数自适应模式：如果两个节点都可用，则采用过半数确认机制，否则写入一个节点即可。
2022-08-16 10:36:21
198
原创 FastCFS数据一致性配置和实践
对于访问量较大的企业，可以直接使用三副本，否则通常会使用两副本。三副本天然满足数据强一致性要求，对于两副本需要特别配置和运维。
2022-07-26 21:28:27
430
1
原创 FastCFS V3.5 发布，支持多数派数据复制
FastCFS v3.5主要完成了异常情况下保证数据一致性的改进：数据提交采用多数派确认机制保证在高负载等不稳定情况下数据一致性和可靠性。
2022-07-26 10:33:36
186
原创 分布式文件系统FastCFS里程碑版本V3.3发布
FastCFS V3.3是一个里程碑版本，正常重启和kill -9强杀，系统的稳定性和数据一致性，均得到了充分测试和保障，欢迎大家体验。
2022-04-25 09:38:11
269
原创 C/C++中如何禁用Linux文件预读和缓存机制
本文主要介绍了Linux下两种方法禁用文件预读和缓存机制的C/C++编程方法，供有需要的朋友参考。
2022-04-24 19:27:42
1115
原创 FastCFS POSIX API简介
出于简单易用和性能考虑，FastCFS V3.2全面支持POSIX API，包括 open、read、write、close之类的系统调用API和fopen、fread、fwrite、fclose之类的C API，并且提供了实验性的LD_PRELOAD机制。
2022-03-10 10:31:31
716
原创 高性能大容量分布式目录服务FastDIR简介
作为分布式文件系统FastCFS核心组件的FastDIR是一款高性能大容量分布式目录服务，本文将为你揭秘其技术要点。
2022-01-20 16:06:33
2273
原创 高性能分布式文件系统FastCFS V3.1发布
FastCFS V3.1主要对核心组件FastDIR进行改进，实现了LRU淘汰算法，以有限内存支持海量文件。
2022-01-14 09:41:38
362
原创 FastCFS V3.0发布，支持百亿级海量文件
FastCFS 3.0主要改进：核心组件FastDIR通过插件方式实现数据存储引擎，单机以有限内存（如64GB）支持100亿级的海量文件。
2021-12-28 12:09:28
511
原创 FastCFS架构之连接篇
上一篇文章讲到了FastCFS核心组件faststore的架构及特点，大家可能有些蒙圈，这次补上FastCFS各个模块之间的关系说明。老规矩，上图为敬： FastCFS的两大核心组件 faststore 和 fastDIR相互独立，通过clien端封装的file api library将二者连接起来。这种做法有两点好处：1. faststore 和 fastDIR不直接依赖，降低服务端复杂性；2. 如果不需要使用fastDIR提供的元数据服务，可以直接使用 faststore api...
2021-07-18 18:33:18
566
原创 FastCFS之连接管理
昨天刚发布了FastCFS V1.3.0（注：转发FastCFS微信公众号以前的文章，FastCFS目前版本为V2.3.0），修复了4个稳定性相关bug，重构了客户端连接管理，实现了更优雅的failover机制，以及更高的读写性能，欢迎大家测试和使用。今天着重向大家介绍FastCFS的连接管理机制。 FastCFS一开始就使用libfastcommon提供的连接池来管理连接。使用连接池的好处是不用每次请求都新建连接，通过池化技术实现了连接复用，最小化建连开销。只有底层的连接池还不够，...
2021-07-18 18:25:48
322
原创 高性能分布式文件系统FastCFS V2.3.0发布
FastCFS V2.3.0发布，主要改进如下： 1. auth server以主备方式支持多节点，避免单点； 2. leader/master选举/切换引入超时机制，选举时长可控； 3. 网络通信相关改进： 1）握手失败，server端主动断开连接； 2）cluster内部通信server端超时控制； 3）调整网络通信超时默认值（连接超时由10秒调整为2秒，收发数据超时由30秒调整为10秒）。友情提示：配置文件中的 section ...
2021-07-08 12:56:39
319
原创 FastCFS性能碾压Ceph之技术揭秘
FastCFS刚发布了版本2.2.0，IOPS全面超越Ceph：顺序写是Ceph的6.x倍，顺序读是Ceph的2.x倍，随机写大约是Ceph的2倍。具体的性能测试数据参见：https://gitee.com/fastdfs100/FastCFS/blob/master/docs/benchmark.md。相信有很多朋友会好奇FastCFS是如何做到的，接下来将为你揭晓FastCFSIOPS完胜Ceph的秘诀。 我不打算探讨架构和实现细节上的差异，直接为大家揭晓有效提升IOPS的关键做法。...
2021-06-24 10:25:29
943
原创 FastCFS V2.2.0发布，性能全面超越Ceph！
历经大约一个月的研发，FastCFS V2.2.0 发布，主要改进如下： 1. [fstore] 使用libaio实现异步读，随机读性能提升明显； 2. [fstore] 支持预读机制，顺序读性能提升显著； 3. 修复了3个bug： 1）[fstore] 修复V2.1.0引入的bug：第一次运行时，一个关键bool变量没有正确赋值； 2）[fuseclient] 修复列举目录导致元数据缓存的一致性问题； 3）[fauth] 修复u...
2021-06-22 10:09:05
561
2
原创 FastCFS binlog机制简介
FastCFS采用经典的Master/Slave结构及数据同步复制的做法。如果slave在线，master同步调用slave；否则slave将进入数据恢复阶段，追上master的最新进度后，slave切换为在线状态，此后master将数据同步复制到slave。 FastCFS采用binlog记录数据更改操作，binlog中不会记录变更（如写入）的文件内容，binlog相当于是数据索引，非常简洁。FastCFS中binlog的两大用途：一、实现数据索引持久化存储，程序启动时通过重放b...
2021-06-15 07:28:02
374
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人