fastdfs binlog同步BUG

最新推荐文章于 2024-08-29 15:58:40 发布

原创最新推荐文章于 2024-08-29 15:58:40 发布 · 132 阅读

0 ·

CC 4.0 BY-SA版权

在使用fastDFS上传文件时遇到文件损坏无法复制至另一storage的问题，通过重启storage最终解决。建议升级到最新版本以避免类似BUG。

今天在排查问题时，在fastdfs log里发现了几下错误日志

从日志信息上来看，文件损坏了，咨询了余庆大师，原来是一个BUG。

现状：客户端上传了一个文件到一组中的一个storage里，但发现另一个storage里不存在，复制不成功。

解决：通过重启storage后得以解决。

注：版本为V2.0.8（余庆大师说，升级到最新版本该BUG已修复）

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33888907

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【运维实战】1.FastDFS分布式的文件存储系统入门介绍与实践

WeiyiGeek 唯一极客IT知识分享

11-10

790

本章目录0x00 基础介绍0.前言1.简介2.特性3.架构Tracker ServerStorage ServerClient4.存储策略5.过程剖析文件上传 - Upload文件下载 - Download文件访问 - HTTP文件同步 - Sync6.功能比对7.参考来源0x01 FastDFS 安装使用1.Linux 安装1.1) CentOS 单机部署 FastDF...

干货阿里巴巴开源软件列表

科技D人生

06-01

9619

阿里的开源项目很多，这也跟@淘宝正明的开源态度密不可分。有很多重量级的项目，例如LVS、Tengine，或者很有实践价值的中间件，今天小编为大家汇总了阿里开源的项目，快来看看吧！服务框架 Dubbo Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。 JDBC连接

参与评论您还未登录，请先登录后发表或查看评论

fdfs storage文件同步失败问题

抽象的螺旋

04-07

1719

概述 binlog 文件删除同步失败的文件 tail -f storaged.log查看同步失败的文件,然后查看是那个binlog文件用作同步，然后把binlog中的这个文件记录删除即可。查看那个binlog在同步通过fdfs_monitor /etc/fdfs/storage.conf 确定那个storage同步失败(被同步的storage)，然后到正确的storage上（也就是同步文件的storage）的storage上 cd /data/fastdfs/storage/data/sync 从mar

fastdfs报错：file: ../common/fdfs_global.c, line: 52, the format of filename XXX is invalid

CoreCmd的博客

01-28

2138

文章已同步到个人博客：http://www.tianshaojiao.com/?p=2010 在使用fastdfs作为文件服务器时，上传文件成功后，访问时报如下错误： file: ../common/fdfs_global.c, line: 52, the format of filename "fserver1/M00/00/00/wKgAo2ASdpaAQWN6AABaAkb2F80722.png" is invalid 这里需要修改一下： /etc/fdfs/mod_fastdfs.conf

记一次fastdfs服务器文件同步数据出错的解决

sunice115的专栏

05-17

1536

1.由于云服务商提供的ssd硬盘坏道，导致fastdfs文件同步操作无法删除文件和rename动作，造成两storage服务文件同步记录不一致。 2.查看storage节点状态信息，通过tracker或者storage都可以，/usr/bin/fdfs_monitor /etc/fdfs/client.conf或者/usr/bin/fdfs_monitor /etc/fdfs/storage.conf,查看节点状态，看哪台机器同步数据日期有问题 3.进入storage服务器下的data目录(storag

FastDFS使用中的几个常见问题

Huazie

07-19

2146

FastDSF使用中的几个常见问题

数据库-MySQL面试题系列 001

Code365

06-24

1153

（RC和RR级别工作）InnoDB的MVCC,是通过在每行记录后面保存系统版本号(可以理解为事务的ID)，每开始一个新的事务，系统版本号就会自动递增，事务开始时刻的系统版本号会作为事务的ID。哈希索引用索引列的值计算该值的hashCode，然后在hashCode相应的位置存执该值所在行数据的物理位置，因为使用散列算法，因此访问速度非常快，但是一个值只能对应一个hashCode，而且是散列的分布方式，因此哈希索引不支持范围查找和排序的功能。数据库中的所有记录，都会被查询出来，载入到 JVM 的内存中。

MySQL篇

weixin_42595331的博客

08-18

1277

大多数情况下，这种写法是没有问题的，因为结果集合是可以控制的。Aerospike作为一个大容量的NoSql解决方案，适合对容量要求比较大，QPS相对低一些的场景，主要用在广告行业，个性化推荐厂告是建立在了和掌握消费者独特的偏好和习性的基础之上，对消费者的购买需求做出准确的预测或引导，在合适的位置、合适的时间，以合适的形式向消费者呈现与其需求高度吻合的广告，以此来促进用户的消费行为。性能优越千万级别的文档对象，近10G的数据，对有索引的ID的查询不会比mysql慢，而对非索引字段的查询，则是全面胜出。

淘宝服务端高并发分布式架构演进之路

悦分享

09-30

1956

分库：就是一个数据库分成多个数据库，部署到不同机器。分表：就是一个数据库表分成多个表。所谓 MySQL 主从，就是建立两个完全一样的数据库，一个是主库，一个是从库，主库对外提供读写的操作，从库对外提供读的操作。为什么使用 MySQL 主从?对于数据库单机部署，在 4 核 8G 的机器上运行 MySQL 5.7 时，大概可以支撑 500 的 TPS 和 10000 的 QPS，当遇到一些活动时，查询流量骤然，就需要进行主从分离。

FastDFS配置之常见错误

qq_40907977的博客

12-06

6486

1、 jnydjky@jnydjky:/data/fastdfs/tracker/logs$ cat trackerd.log [2019-12-05 10:21:34] INFO - FastDFS v5.05, base_path=/data/fastdfs/tracker, run_by_group=, run_by_user=, connect_timeout=30s, network_t...

fastdfs遇到的问题汇总

Brother_Wei的博客

09-28

2551

1、上传文件时错误错误原因：Tracker服务请求调度Storage服务时错误 Tracker错误日志： file: tracker_mem.c, line: 1535, the format of the file "/data/fast_data/data/storage_sync_timestamp.dat" is invalid, group_name: group1, colums: 5 > 4 解决方案： storage_sync_timestamp.dat文件中数据错误

对fastdfs 文件清单进行检查，打印无效的文件

weixin_30746117的博客

04-08

212

对fastdfs 文件清单进行检查，打印无效的文件2017年12月12日 18:37:18 守望dfdfdf 阅读数：281 标签： fastdfssftpmysql 更多个人分类：工作问题编辑版权声明：本文为博主原创文章，转载请注明文章链接。 https://blog.youkuaiyun.com/xiaoanzi123/article/details/78752333需求说明：写程序获取...

分布式文件系统FastDFS详解

HelloWorld搬运工

03-18

2947

01 序 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器...

FastDFS数据迁移及常用命令

lihongbao80的专栏

12-18

2330

前提：所用镜像image: luhuiguo/fastdfs 其他镜像命令自行修改思维流程导向：old-tracker storage ——>加一个新的storage做同步用——>查看状态等待数据同步完成——>断开连接——>修改tracker为新的地址——>修改storage0/data/.data_init_flag配置文件（sync_src_server=）置为...

FastDFS之Binlog同步

hfty290的专栏

12-20

8595

本片描述了FastDFS中Binlog的相关逻辑与注意事项。

FastDFS集群同步机制

欢迎指正、交流

08-29

4523

答案：同步线程进行storage同步时，会先读取对方的.mark同步文件，其中包含该storage的同步记录，其中binlog_offset字段记录了上一次同步binlog的位置。答：源storage写入文件后记录该操作到binlog文件，用操作符的大小写区分该操作是源文件操作还是副本文件操作，源storage的监听线程（多个）捕捉到新记录，4.已有A、B、C三个storage，我现在上传一个文件到A，然后发起请求下载，会不会出现从B请求下载，但此时B没有同步文件，导致下载失败的情况？

fastdfs 数据同步和迁移

markfengfeng的博客

10-13

5302

最近做了一次fastdfs文件迁移的工作，把操作步骤记录下来，留给后面做迁移的时候参考。其中有些细节原理尚不清楚，后续有研究再补充。旧的 fastdfs（110.119.19.20）我们这么命名 tracker_old storage_old 新的 fastdfs（110.119.19.21）我们这么命名 tracker_new storage_new 我们为了不影响旧的 fastdf...

FastDFS安装运维过程中的各种异常汇总

luckykapok918的专栏

09-26

8601

1.不能上传文件到storage：, errno: 113, error info: No route to host [2018-09-26 05:18:14] ERROR - file: connection_pool.c, line: 130, connect to 10.15.24.109:23000 fail, errno: 113, error info: No route to h...

fastdfs storage 同步周期