FastDFS运维

Go-FastDFS在Linux生产环境中的集群部署与运维实战 本文详细介绍了Go-FastDFS在Linux生产环境中的集群部署与运维实战,包括其无中心架构、高可用性和自动修复机制等核心特性。通过硬件配置建议、二进制部署步骤和Nginx调优方案,帮助用户快速搭建高性能分布式文件系统,适用于电商、短视频等高并发场景。 阅读详情

FastDFS运维

1.fastdfs七种状态

 FDFS_STORAGE_STATUS:INIT      :初始化,尚未得到同步已有数据的源服务器
 FDFS_STORAGE_STATUS:WAIT_SYNC :等待同步,已得到同步已有数据的源服务器
 FDFS_STORAGE_STATUS:SYNCING   :同步中
 FDFS_STORAGE_STATUS:DELETED   :已删除,该服务器从本组中摘除
 FDFS_STORAGE_STATUS:OFFLINE   :离线
 FDFS_STORAGE_STATUS:ONLINE    :在线,尚不能提供服务
#FDFS_STORAGE_STATUS:ACTIVE    :在线,可以提供服务

2.正常状态必须是ACTIVE

fdfs_monitor /etc/fdfs/client.conf | grep ACTIVE
        ip_addr = 10.1.8.45  ACTIVE
        ip_addr = 10.1.8.46  ACTIVE
        ip_addr = 10.1.8.54  ACTIVE
        ip_addr = 10.1.8.55  ACTIVE

3.增加Storage节点(通过配置,自动加入)

安装Storage并配置mod_fastdfs.conf及storage.conf,设置fdfs_storaged及nginx自启动

vim /etc/fdfs/storage.conf
tracker_server=10.1.8.43:22122
tracker_server=10.1.8.44:22122
 
**vim /etc/fdfs/mod_fastdfs.conf**
tracker_server=10.1.8.43:22122
tracker_server=10.1.8.44:22122
......
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/data

启动新加的storage节点(会自动同步相同group的内容)

/etc/init.d/fdfs_storage start

执行fdfs_monitor /etc/fdfs/client.conf查看集群同步情况(会看到新增的storage节点)

fdfs_monitor /etc/fdfs/client.conf

4.删除Storage节点及删除后重新加入(通过fdfs_monitor删除)

 停止某个storage节点
/etc/init.d/fdfs_storage stop
 
fdfs_monitor /etc/fdfs/client.conf delete group1 10.1.8.x
 
查看集群情况 fdfs_monitor /etc/fdfs/client.conf 可以到对应的storage节点状态为DELETED
fdfs_monitor /etc/fdfs/client.conf

5.重新加入storage节点
启动被删除的storage节点,查看集群状态,一开始会是 OFFILINE状态
fdfs_monitor /etc/fdfs/client.conf

过一会儿再查看集群状态,显示为ACTIVE状态
fdfs_monitor /etc/fdfs/client.conf
6.增加Tracker节点
在所有storage节点的storage.conf, mod_fastdfs.conf 中配置多条tracker_server记录

tracker_server=10.2.x.1:22122
tracker_server=10.2.x.2:22122

在client.conf中也配置多条tracker_server记录
执行 fdfs_monitor /etc/fdfs/client.conf 查看集群情况,可以看到tracker_serve_count变为2
另外可以指定tracker,进行集群监控 fdfs_monitor /etc/fdfs/client.conf -h 10.2.x.1 list
7.删除Tracker节点
去掉配置文件中不需要的tracker_server的记录,停止对应服务器上的tracker进程
8.storage不同步处理
从集群中删除storage
fdfs_monitor /etc/fdfs/client.conf delete group1 10.1.8.101
删除数据文件夹
rm -rf /home/storage1/fastdfs/data
重启storage
fdfs_storaged /etc/fdfs/storage.conf
重新查状态
fdfs_monitor /etc/fdfs/client.con

9.启动和停用
尝试启动tracker
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
验证是否成功
ps -ef|grep fdfs
netstat -unltp | grep fdfs

尝试启动storage
fdfs_storaged /etc/fdfs/storage.conf start
fdfs_storaged /etc/fdfs/storage.conf restart
验证是否成功
ps -ef|grep fdfs
netstat -unltp | grep fdfs

验证storage是否登记到tracker服务器
fdfs_monitor /etc/fdfs/storage.conf

10.开启合并小文件
trunk功能启动与配置:通过tracker.conf文件启动与配置,个配置项如下:

use_trunk_file = false#是否启用trunk存储
slot_min_size = 256#trunk文件最小分配单元
slot_max_size = 16MB#trunk内部存储的最大文件,超过该值会被独立存储
trunk_file_size = 64MB#trunk文件大小
trunk_create_file_advance = false#是否预先创建trunk文件
trunk_create_file_time_base = 02:00#预先创建trunk文件的基准时间
trunk_create_file_interval = 86400#预先创建trunk文件的时间间隔
trunk_create_file_space_threshold = 20G#trunk创建文件的最大空闲空间
trunk_init_check_occupying = false#启动时是否检查每个空闲空间列表项已经被使用
trunk_init_reload_from_binlog = false#是否纯粹从trunk-binlog重建空闲空间列表
trunk_compress_binlog_min_interval = 0#对trunk-binlog进行压缩的时间间隔 
FastDFS 安装配置与 Nginx 接入实战:404 排查与运维避坑 分布式文件系统用于把海量小文件分散到多台存储节点,通过调度节点管理副本与负载均衡,从而提升图片、文档等静态资源的存取效率。其核心原理通常包含元数据/调度与数据存储分离、文件 ID 编址、同组多副本异步同步等机制,技术价值在于横向扩容、低成本和高并发读取。典型应用场景包括图片站、电商详情页、视频封面、附件管理等。在 FastDFS 这类轻量级方案中,Tracker 负责调度,Storage 按 Group 组织数据,Nginx 通过 fastdfs-nginx-module 提供 HTTP 访问。部署时需关注 阅读详情

相关推荐

fdfs-monitor:fdfs监视器

fdfs监视器 fdfs监视器

解决Fastdfs状态为WAIT_SYNC或者OFFLINE

在状态为 WAIT_SYNC 时, 如果重启服务无法搞定,只能删除重新添加。正常状态应该是ACTIVE,1、从集群中删除节点。

Black794的博客 2507

OPC UA 服务端的模拟工具及客户端工具

详细介绍如何使用 Prosys OPC UA Simulation Server 作为 OPC UA 服务端的模拟工具来生成数据模型,并使用 Softing OPC UA Client 作为客户端工具,直观地查看和验证模拟生成的数据。

weixin_44462773的博客 9889

FastDFS原理及维护

FastDFS fdfs是一个开源分布式存储解决方案,整个集群节点分为storage和tracker storage真正的存储文件的节点,集群中可以有很多个storage节点,每个节点都是平级的,互为备份。 tracker负责协调和管理整个集群,集群中可以有多个tracker,它们都是平级的,为了提高系统的稳定性和吞吐量,建议部署多个tracker。 集群关系 多个(M)tracker对应多...

Dream12306的博客 1301

Ansys CFX Pre 中 RGP 表的高级配置与优化策略

本文深入探讨了Ansys CFX Pre中RGP表的高级配置与优化策略,旨在帮助用户将仿真从“能用”提升至“精准好用”。文章重点解析了如何根据具体仿真场景,科学设定温度压力范围、选择流体类型,并针对相变等复杂工况实施网格加密与分离建表等关键优化技术,以显著提升计算精度与稳定性。

weixin_29216957的博客 1181

三菱FX5U PLC与CCLINK模块通信配置全流程(附接线图与参数详解)

本文详细解析了三菱FX5U PLC与CCLINK模块的通信配置全流程,包括硬件接线规范、参数设置及软件编程方法。通过实战指南帮助工程师快速掌握FX5U与CCLINK模块的高效通信技术,提升工业自动化控制系统的稳定性和可靠性。

weixin_27014595的博客 436

FastDFS 分布式文件系统(部署和运维)

FastDFS介绍1.1   什么是FastDFS         FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 1.2   FastDFS架构         FastDFS架构包括 Tracker ...

KamRoseLee的博客 4万+

STM32驱动电磁阀电路设计:从光耦选型到MOSFET驱动的实战解析

本文深入解析了STM32驱动24V电磁阀的完整电路设计,重点探讨了光耦选型与MOSFET驱动两大核心环节。针对电平转换与电气隔离需求,详细对比了EL357N与TLP2310等光耦在CTR、速度及耐压等关键参数上的差异与应用场景。同时,文章提供了MOSFET关键参数解读、驱动电路优化方案(如推挽驱动)以及完整的PCB布局、电源处理与调试避坑指南,旨在帮助工程师构建稳定可靠的工业控制电路。

weixin_29184371的博客 234

FastDFS监控管理与运维实践

本文系统介绍了FastDFS分布式文件系统的监控管理工具fdfs_monitor的使用方法、日志分析技巧、存储容量规划策略以及日常维护最佳实践。内容涵盖从基础监控到高级运维的完整知识体系,包括工具安装、命令使用、关键指标解析、故障排查、容量规划、扩容策略和性能优化等方面,为运维人员提供全面的FastDFS运维指导。 ## 系统监控工具fdfs_monitor使用指南 FastDFS作为一款高性...

gitblog_00040的博客 660

大疆视觉算法面试,手推极线几何这关刷掉了一半人

摘要:大疆机器视觉算法工程师面试重点考察目标检测工程优化、深度估计几何原理和视觉SLAM全流程。目标检测侧重模型压缩和部署优化,需掌握知识蒸馏、量化及算子融合;深度估计要求推导双目几何并理解单目深度恢复方法;视觉SLAM需熟悉前后端流程及ORB-SLAM3/VINS-Mono区别。面试常要求手推PnP等公式,注重实践能力。准备需重点练习公式推导和代码实现,掌握工程落地细节。

郑伟强dev的专栏 194

Qt软件开发-Qt编译zlib完成文件压缩解压(win10)

在软件开发中进行有需求需要将生成的一些文件打包上传到服务器,或者从服务器下载压缩包下来内部解压。或者自己做一些打包工具,那么使用zlib开源就可以很方便的完成。接下来介绍在zlib在windows下如何利用Qt进行编译,调用,介绍mingw、msvc,32/64位编译办法,完成zip文件打包生成例子。可以单文件压缩打包,多文件压缩打包,目录压缩打包等等。

2218

用 Fizgig 训练 AI 音乐 LoRA:ACE-Step 1.5 XL 完整教程(附 Repair Studio 类 DAW 音乐编辑)

Fizgig 是一款面向新手友好的 LoRA 训练与微调工作台,自 v7.3 起支持 **ACE-Step 1.5 XL 音乐大模型**:只需 10 首带字幕的音频,就能在消费级显卡上训练出"你自己的声音"的音乐 LoRA(48 kHz 立体声、可带人声与歌词),再用内置的 **Repair Studio** 像操作 DAW 一样逐层微调、混音、翻唱与续写歌曲。本教程带你从零走完数据集准备、训练参

gitblog_00150的博客 743

rk628d修改默认分辨率

在rk3568上使用628d hdmi转mipi,在628d已经调试好的情况下,客户新增需求:视频输入这边的推荐分辨率固定在1024x768。

m0_60805802的博客 2055

FastDFS运维友好那些事儿

FastDFS运维友好那些事儿 1. 更换单盘后自动恢复单盘数据 2. storage server 支持动态增加存储路径(通常是增加磁盘) 3. 日志轮转和定期清除 4. binlog 自动压缩和解压(V6.01支持的功能,已完成开发)

Huazie 501

大模型驱动电费核算智能升级:从人工调参到智能进化的规则优化新范式

大模型技术为电费核算规则优化提供了全新的解决方案,通过构建数据驱动的规则智能优化闭环,实现了从人工调参到智能进化的规则优化新范式。这一解决方案不仅有效提高了电费核算的效率和准确性,还降低了人工成本,提升了客户满意度。随着大模型技术的不断发展和应用,电费核算业务将迎来更加智能化、高效化的未来。

getusushu的博客 37

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

运维最全FastDFS——从入门到入土(上)_fastdfs tracker,2024最新阿里Linux运维高级面试题总结

随着文件数据越来越多,通过 Tomcat 或 Nginx 上的动静态资源文件在单一的服务节点中是存不下的如果使用多节点来存储的话这会大大增加我们的运维成本,不利于管理和维护所以我们需要一个解决方案,能够通过一个系统来管理多个节点上的文件数据,分布式文件系统应运而生特点分布式文件系统允许文件通过网络存储在多台节点上,多台存储节点组成一个整体,为更多用户提供文件分享和存储空间等功能虽然是一个分布式文件系统,但对用户是透明的,用户在使用的时候就像在访问本地文件系统一样。

2401_83946044的博客 845

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

FastDFS - Linux下搭建FastDFS 文件服务器与Nginx配置(部署和运维)

朋友做了个视频在线App,线上运维我来帮他折腾。此篇记录部署步骤,方便下次直接查看使用。部分内容来源于网络,如侵联删。 本篇文章只叙述FastDFS的部署与运维,简介请点击FastDFS - 快速的分布式文件系统 目录 FastDFS 前置操作 准备工作 安装相关依赖 下载相关软件 上传相关软件 安装libfastcommon-master 解压 打开安装目录 编译...

Soinice的博客 2185

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

FastDFS从入门到精通(三)之线上高可用运维

本文介绍我在运维中遇到的问题并提出具体解决方案。

藏经阁 443

docker安装fastdfs_【运维面试】面试官:你们公司的docker主要用来做啥?

weixin_39841136的博客 118

运维之路-CentOS7安装FastDFS

一、安装libfastcommon 二、安装fastdfs 三、配置Tracker服务 四、配置Storage服务 五、安装Nginx和fastdfs-nginx-module模块 六、配置Nginx 七、配置外网访问fastdfs 1、修改tracker.conf文件 修改tracker.conf的tracker_server 的ip为公网IP 2、修改mod_fastdfs.conf文件 修改mod_fastdfs.conf的tracker_server 的ip为公网IP

往復不息的博客 1568

FastDFS 分布式文件系统:从安装部署到集群运维全指南

数据库设计范式与反范式化:从理论到实践的权衡艺术 本文系统解析了数据库设计的三大范式(1NF、2NF、3NF)及其应用场景,指出范式化设计的核心在于消除数据冗余与异常,但可能导致查询性能问题。同时深入探讨了反范式化的必要性——通过合理冗余提升读性能,尤其适用于高并发读场景。文章通过电商订单等实例对比两种设计方法的优缺点,并给出决策指南:应先遵循3NF设计,再针对性反范式优化。最后指出在微服务和NoSQL架构下,数据库设计需要新的考量维度。

蒙眼过河 516

终极FastDFS权限管理指南:从配置到运维的完整解决方案

FastDFS是一个开源高性能分布式文件系统(DFS),主要功能包括文件存储、文件同步和文件访问,专为高容量和负载均衡设计。权限管理是确保FastDFS集群安全稳定运行的关键环节,错误的权限配置可能导致数据泄露、服务不可用等严重问题。本文将提供一套完整的FastDFS权限管理方案,帮助管理员从配置到运维全面掌控权限安全。 ## FastDFS权限模型解析 FastDFS采用分层权限控制模型,通

gitblog_01012的博客 943

FastDFS存储健康检查实战:7个运维必知指标

你是否曾因存储节点异常导致文件上传失败?作为分布式文件系统的核心组件,FastDFS存储服务器的健康状态直接决定服务可用性。本文将详解如何通过内置工具与配置,实时监控7个关键健康指标,帮你提前预警90%的存储故障。 ## FastDFS健康检查架构解析 FastDFS采用Tracker+Storage架构,健康检查机制贯穿整个系统生命周期。Tracker服务器通过定期心跳检测与状态汇报,维护S...

gitblog_00757的博客 424

FastDFS定时清理文件:自动化运维与存储空间管理

FastDFS文件系统清理机制优化摘要: 针对FastDFS分布式文件系统中文件积累问题,本文提出了一套自动化清理方案。通过分析FastDFS的两级目录存储结构和文件类型特点,设计了基于find命令的清理脚本,支持按文件类型、修改时间和存储路径进行灵活清理。方案包含基础脚本、多路径清理和高级脚本三个版本,其中高级版本支持配置文件管理、磁盘空间监控、空目录清理等功能,并通过锁文件防止并发执行。所有操作均记录详细日志,便于审计和维护。这些脚本可结合crontab定时执行,有效管理存储空间,保持系统稳定运行。

cx1050306424的博客 1592

FastDFS 第 7 天:性能调优、运维监控与技术选型思考

FastDFS 七天学习收官篇聚焦性能调优与技术选型。通过剖析上传下载链路,明确瓶颈在磁盘 IOPS、网络带宽与数据分布不均。调优按连接、线程、IO、同步、空间五层展开:提升 max_connections 并配高 ulimit,合理配置工作线程与读写分离,启用 io_uring 和 use_send_zc 优化网络,将 sync_binlog_buff_interval 调至 1 秒以缩短同步延迟,预留磁盘空间建议设为百分比。强调避免 RAID,直接挂载单盘。最终反思:2026 年新项目应审慎评估是否仍选

小工匠 472

2024年运维最新FastDFS——从入门到入土(上)_fastdfs tracker,系列教学

最全的Linux教程,Linux从入门到精通第一份《Linux从入门到精通》466页内容简介====本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷,并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本,循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘,内容为本书配套多媒体教学视频。

2401_84138927的博客 328
上一篇: docker-compose实战
下一篇: springcloud D版本升级F版本
wflovejava
博客等级 码龄11年 23粉丝 46原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值