【运维实战】1.FastDFS分布式的文件存储系统入门介绍与实践

已于 2022-05-21 10:07:33 修改
阅读量712 收藏
点赞数
分类专栏： 企业IT运维实践 文章标签： 分布式 hadoop linux java 大数据
于 2021-11-10 23:29:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013072756/article/details/124825253
版权
本文介绍了FastDFS分布式文件系统的基础，包括它的用途、特性、架构和核心组件。FastDFS能够解决传统文件系统在管理和性能上的问题，提供高可用性和扩展性。文中详细讲解了其工作流程，如文件上传、下载和同步机制，并对比了与其他文件系统的功能。此外，还提供了FastDFS在Linux环境下的安装和配置指南，包括CentOS单机部署和Ubuntu主从部署的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

b355c5c3f60520a53a557d789076c16d.png

本章目录

0x00 基础介绍

  • 0.前言

  • 1.简介

  • 2.特性

  • 3.架构

    • Tracker Server

    • Storage Server

    • Client

  • 4.存储策略

  • 5.过程剖析

    • 文件上传 - Upload

    • 文件下载 - Download

    • 文件访问 - HTTP

    • 文件同步 - Sync

  • 6.功能比对

  • 7.参考来源

0x01 FastDFS 安装使用

  • 1.Linux 安装

    • 1.1) CentOS 单机部署 FastDFS

    • 1.2) Ubuntu

了解本专栏 订阅专栏 解锁全文 超级会员免费看
FastDFS分布式的文件系统从小白入门到企业实践打怪之路系列笔记 【运维实践】
WeiyiGeek 唯一极客IT知识分享
11-11 338
FastDFS分布式的文件系统从小白入门到企业实践打怪之路系列笔记 【运维实践】0.前言 Q: 传统的文件系统面临的问题与挑战? 描述: 在传统WEB应用中，前端、后端、以及其它API服务部署在同一台服务器，所有文件都作为静态资源访问，随着业务量的不断增长，久而久之，图片和文件等资源占用的空间变得越来越大。 随之带来了各种性能、管理与安全风险等问题，如下所示： 若文件直接置于应用服务器中，难以管理； 昂贵的磁盘空间、高性能服务器大大增加了运维成本； 易发生单点故障； 传统FTP上传文件，存在诸多安全隐
FastDFS 分布式文件系统（部署和运维）
热门推荐
KamRoseLee的博客
05-16 4万+
FastDFS介绍1.1   什么是FastDFS         FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 1.2   FastDFS架构         FastDFS架构包括 Tracker ...
FastDFS运维
wflovejava的博客
02-27 638
FastDFS运维
FastDFS专题】fastdfs使用实战（概念篇）
Josh_Persistence
05-12 282
1、FastDFS是什么    FastDFS是一个开源的轻量级分布式文件系统，纯C实现，支持Linux、FreeBSD等UNIX系统，FastDFS可以看做是基于文件的key value pair存储系统。    FastDFS有两个角色：跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：存储、同步...
微服务轮子项目（35） -FastDFS分布式文件系统
阿甘兄
01-28 659
文章目录1. 概述2. FastDFS2.1 架构图2.2 相关概念2.2.1 tracker server2.2.2 storage server2.2.3 client2.3 优缺点2.4 上传下载交互过程2.6 文件ID-FID3. 文件系统的对比4. 安装部署4.1 docker安装4.2 本地安装 1. 概述 通过独立文件服务器可以解决一些问题，如果某天存储文件的那台服务突然down了怎么办？可能你会说，定时将文件系统备份，这台down机的时候，迅速切换到另一台就OK了，但是这样处理需要人工来干预
FastDFS安装使用实战三（使用篇）
XuanYuZuo的专栏
11-01 821
Keywords:FastDFS、分布式文件系统、Ubuntu Author:soartju 转载请注明出处:http://soartju.iteye.com/blog/803548 一、上传文件 FastDFS安装包中，自带了客户端程序，通过程序可以进行文件上传。在使用这个客户端程序之前，首先需要配置client.conf，然后再进行文件上传及下载。   1、修改%F
DFS分布式文件存储系统
qq_42873640的博客
05-19 2397
1. 安装 2. 使用 3. 常见问题 3.1 stroarge无法启动 检查stroarge.conf中配置的23000端口启动情况，执行lsof -i:23000发现没有进程信息，说明未启动成功 [root@VM-8-4-centos rc3.d]# lsof -i:23000 [root@VM-8-4-centos rc3.d]# 检查stroarge.log日志信息，使用tail -f xxx [root@VM-8-4-centos ~]# tail -f /opt/infosec/Fi
FastDFS运维脚本
09-19
简化fdfs及相应的nginx启停； start) start_fdfs_trackerd start_fdfs_storaged start_nginx ;; stop) stop_nginx stop_fdfs_storaged stop_fdfs_trackerd ;;
fastdfs应用场景
你个无聊小demo的博客
11-29 2321
一、fastdfs是什么 fastdfs是一款开源的轻量级的分布式文件系统 二、fastdfs能解决什么问题 分布式场景下的文件上传下载读取问题。分布式架构下的服务为了抗住高并发都会存在集群。但是在有集群（比如现在有服务器a、b、c）的情况下，如果用户本次登录被负载均衡调到服务器a了，此时他在服务器上上传了一张图片，然后他注销了。下一次登录的时候他又被负载均衡到另一台服务器b了，此时他想查看他上次...
fastdfs分布式存储
最新发布
可笑
08-22 998
fastdfs是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（上传、下载）等，解决了大容量存储和负载均衡的问题。fastds为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩展等机制，并注重高可用、高性能等指标，使用fastdfs很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
【FastDFS专题】fastdfs使用实战（Java实例篇）
08-06
NULL 博文链接：https://josh-persistence.iteye.com/blog/2067574
fastdfs集群搭建以及与java集成
08-08
nginx+Storage集群，nginx+Tracker集群，keepalived+Nginx代理高可用这些服务器的搭建。最后通过基于pom的java工程调用上传文件（Springmvc+Service+fastUtil）等操作。包括：安装文件，安装步骤，java调用
fastDFS-1.27
10-22
FastDFS文件服务器jar包，1.27-SNAPSHOT版本，FastDFS文件服务器jar包，1.27-SNAPSHOT版本，
分布式存储FastDFS(自用)
qq_45295729的博客
08-02 767
fastdfs框架
【FastDFS专题】fastdfs使用实战（使用篇）
Josh_Persistence
05-13 330
经过前面的安装、配置、启动工作，现在就可以看到FastDFS的效果了，试着上传一个文件，然后再通过http下载。后面一篇将介绍怎样使用Java的API来上传、获取、删除文件。 一、上传文件    FastDFS安装包中，自带了客户端程序，通过程序可以进行文件上传。在使用这个客户端程序之前，首先需要配置client.conf，然后再进行文件上传及下载。 1、修改client.conf文件,修改如...
FastDFS使用经验分享
个人视角下的技术领域探索
12-10 3039
经验一：FastDFS文件下载恢复原始文件名应用背景文件被上传到FastDFS后Storage服务端将返回的文件索引（FID），其中文件名是根据FastDFS自定义规则重新生成的，而不是原始文件名，例如： group2/M00/00/89/eQ6h3FKJf_PRl8p4AUz4wO8tqaA688.apk 使用http下载时如不加处理，显示给用户的文件名会是这样的eQ6h3FKJf_PRl8p4
FastDFS在项目中的应用
Leon_Jinhai_Sun的博客
03-01 349
分析上传步骤： 1） 指定图片绝对地址 2） 指定图片服务器地址；使用 Client.conf 配置文件 3） 加载图片服务器，连接图片服务器 4） 创建图片服务器 tracker 客户端 5） 从客户端获取 tracker 连接 6） 创建 storage 客户端，存储图片 FastDFS概述 分布式文件系统上传文件特点： 1） 不再把文件上传项目，把上传文件和项...
FastDFS详解
Constantdropping的博客
11-27 555
自转载  http://www.cnblogs.com/chiangchou/p/fastdfs.html 目录  一，FastDFS介绍 1，简介 2，FastDFS的存储策略 3，FastDFS的上传过程 4，FastDFS的文件同步 5，FastDFS的文件下载 二，安装FastDFS环境 0，前言 1，下载安装libfastcommon 2，下载安装...
FastDFS——从入门到入土（上）_fastdfs tracker(1)
2401_83740189的博客
04-28 1190
tracker server 主要负责调度服务，提供负载均衡tracker server 将集群中所有存储组和 storage server 的状态信息等存放在内存中tracker server 是 client 和 storage server 交互的枢纽storage serve 在启动后会自动连接 tracker，告知自己的 group 信息并保持周期性的心跳，tracker根据 storage 的心跳信息，建立 group==>[storage server list] 的映射表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

全栈工程师修炼指南

原创不易，赞赏鼓励!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值