docker搭建单机FastDFS文件存储服务器

文件存储方案FastDFS和容器化方案Docker 文件存储方案FastDFS 1. FastDFS介绍 用c语言编写的一款开源的轻量级分布式文件系统。 功能包括:文件存储、文件访问(文件上传、文件下载)、文件同步等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标。 可以帮助我们搭建一套高性能的文件服务器集群,... 阅读详情

一、FastDFS是什么?

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:

  • 文件存储
  • 文件同步
  • 文件访问(文件上传、文件下载)等

解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等。

FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

二、工作原理

1.FastDFS服务端角色

  • tracker 跟踪器:主要做调度工作,在访问上起负载均衡的作用;其中所有的跟踪器服务都是对等平级的,可以根据服务器的压力的大小随时增加或减少。
  • storage 存储节点:完成文件管理的所有功能(主要用于存储文件,存储完成后会返回一个地址给tracker)。

为了可以支持扩容,跟踪器和存储节点都可以由一台或多台服务器构成。如果访问的压力大,可以多增加跟踪器,如果存储量大,可以增加多个存储节点,同时,可以把同一存储节点进行备份(back-up)。

2.工作原理

工作原理

FastDFS分为Tracker、Storage,其中Storage负责存储文件,Tracker负责存储文件所在地址,主要作用是负载均衡和资源调度。

Tracker、Storage都可以实现集群部署,Tracker的每个节点地位平等,而Storage可以分为多个组,每个组之间保存的文件是不同的,组内部分为多个成员,每个成员保存的内容是一样,组成员地位一致,没有主从概念。

使用FastDFS存储文件优点:可以应对互联网的海量文件存储,一旦文件较多,可以随时横向扩展,且集群的实现也使系统不存在单点故障问题,用户不会因为服务器宕机而无法访问文件资源。

3.工作流程

文件上传:Client会先向Tracker询问存储地址,Tracker查询到存储地址后返回给Client,Client拿着地址直接和对应的Storage通讯,将文件上传至改Storage。
工作流程-文件上传
文件下载:同样,Client会向Tracker询问地址,并带上要查询的文件名和组名,Tracker查询后会将地址返回给Client,Client拿着地址和指定Storage通讯并下载文件。
工作流程-文件下载

二、使用docker搭建FastDFS文件系统

1.下载FastDFS文件系统的docker镜像

1.1 查找dockerhub中fastdfs的镜像

docker search fastdfs
查找dockerhub中fastdfs的镜像

1.2 拉取选择的镜像

docker pull delron/fastdfs
拉取选择的镜像

1.3 查看docker镜像

docker images
查看docker镜像

2.使用docker镜像构建tracker容器

启动镜像并且将容器挂载到本机的/var/fdfs/tracker下
docker run -d --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker

  • -d:守护进程
  • --name:命名
  • -v:挂载
    使用docker镜像构建tracker容器

3.使用docker镜像构建storage容器

启动镜像并且将容器挂载到本机的/var/fdfs/storage下,tracker服务的ip地址,端口默认是22122
docker run -d --network=host --name storage -e TRACKER_SERVER=ip:22122 -v /var/fdfs/storage:/var/fdfs -e GROUP_NAME=group1 delron/fastdfs storage
使用docker镜像构建storage容器

4.查看正在运行的镜像

docker ps
查看正在运行的镜像

此时两个服务都已启动

5.查看storage容器配置

进入storage容器,到storage的配置文件中皮质http访问的端口,配置文件在/etc/fdfs目录下的storage.conf。
docker exec -it storage /bin/bash
进入storage容器
vi storage.conf
storage.conf
默认请求端口是8888

6.配置Nginx

在/usr/local/nginx目录下,修改nginx.conf文件

cd /usr/local/nginx/
ll
cd conf/
ls
vi nginx.conf

默认配置如下
nginx.conf
修改成

location /group1/M00 {
    alias  /var/fdfs;
}

到这里文件系统已搭建完成。

7.上传图片验证

将图片放置在/var/fdfs/storage目录下,进入storage容器,进入/var/fdfs目录,运行下面命令:
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf demo.jpeg
图片上传至文件系统
执行后会返回图片存储的uri
通过url访问http://ip:8888/group1/M00/00/00/rBCVGGFpH32AO9LmAAA9CQNjvWc43.jpeg
查看服务器图片

总结

docker搭建单机FastDFS文件存储服务器就到这里啦。

docker+fastdfs+springboot一键式搭建分布式文件服务器 首先说一下从零开始自己去搭一个fastdfs有多不顺,搭起来步骤繁琐,很麻烦,后来看到有人把做好的docker镜像传出来了,那搭建起来就很容易了 有服务器的可以自己在服务器上玩玩,没有的可以新建一个centos7.5虚拟机玩玩,遇到虚拟机不能上网和换阿里云的源的问题可以参考https://blog.youkuaiyun.com/qq_37759106/article/details/82985113这篇文章... 阅读详情

相关推荐

分布式文件存储选型 go-fastDFS

前言 公司要做二维码、语音、小视频、图片功能,这里对实时要求不高,所以没有必要采用流式服务器做处理。 我们采用FTP什么传统的文件服务器,对扩展不友好, 所以我们用采用分布式文件存储。 之前工作中boss的要求,也就会fastDFS、hdfs, 但是这里他们没有docker镜像,我不想用fastDFS。 还有fastDFS本身不支持restAPI。必须自己写一套服务供自己处理 hdfs不适合小文...

吴灵辉的博客 2320

docker搭建数据库、文件服务器、邮件服务器

docker快速搭建sybase16.0、sybase15.7、nessus、postgres9、awvs、nfs、vsftpd、hgdb、mysql5.7、mysql5.5、mysql8、samba-1、oracle10g、db2、dm、kingbase、onvif、gb28181、video、srs4、gbase8s、mail、postgres14、oracle11g、oracle12c、hadoop、oscar、awvs、zentao、ewomail、db2-11、sqlserver2017、禅道

dqz1231的博客 3225

从零构建:Esp32+Esp-IDF驱动ST7789屏幕并集成LVGL图形库

本文详细介绍了如何从零开始使用Esp32和Esp-IDF驱动ST7789屏幕并集成LVGL图形库。内容涵盖环境准备、SPI驱动配置、屏幕初始化、LVGL图形库集成及常见问题排查,帮助开发者快速实现高效稳定的显示解决方案。

weixin_42657024的博客 524

Docker搭建FastDFS + Ngnix图片文件服务器

首先,确保系统已更新到最新版本。: 安装所需的软件包以支持Docker的安装过程: 使用以下命令设置Docker稳定版仓库: 运行以下命令验证Docker是否成功安装:如果Docker安装成功,您应该能够看到Docker引擎的版本信息。

weixin_41422086的博客 1591

【物理模拟】PBD算法详解

参考MatthiaMuller的十分钟物理(他就是PBD算法的发明者)

beidou111的博客 9499

从零开始:用RFSOC XCZU47DR搭建软件无线电开发环境(2023最新版)

本文详细介绍了如何使用Xilinx RFSoC XCZU47DR搭建高性能软件无线电(SDR)开发环境,涵盖硬件选型、开发环境配置、射频子系统校准及实战应用开发。特别针对2023年最新技术需求,提供从基础配置到高级优化的完整指南,助力科研人员和工程师快速掌握RFSoC开发技术。

weixin_42525005的博客 512

【Docker安装部署FastDFS详细过程】

【Docker安装部署FastDFS】1. 我们项目中有很多需要存储的内容出现,在早期的时候用户量不大,产生的文件也不是很多,这时我们可以把文件和服务程序放在一个服务器中。 2. 随着文件越来越多,服务器的资源会被文件资源大量占据,从而影响到服务器的稳定,这时我们可以单独的把文件服务器拆出来。3. 拆解出来后,文件服务的使用不会影响到我们的系统服务的稳定,但是当用户量越来越大,存储的文件就会越来越多,这时如果还是单台的文件服务,比如1000T的文件,这时是存储不下去的,这时就产生了我们将的分布式文件存储。

Coder_ljw的博客 1万+

【DMA】认识 DMA 及其工作流程(与传统CPU存取方式的区别)

【DMA】认识 DMA 及其工作流程(与传统CPU存取方式的区别)

challenglistic的博客 5万+

docker 安装 fastdfs

安装前准备:一个云服务器或本地服务器。

ZGSDMAN的博客 5479

树莓派4B:控制步进电机

文章目录准备阶段接线阶段树莓派程序 准备阶段 准备以下物品,淘宝都可以买到: 57步进电机 电源开关(220v转24v,3A,72W) 步进电机驱动器 电源线 电线 杜邦线 树莓派4B一套 具体型号如下: 接线阶段 整体:接线效果如下图 电源开关起220v转24v作用,很好接线,输出24v接入步进电机驱动器 步进电机驱动器的 A+ A- B+ B- 按提示接步进电机四线,步进电机上就会有说...

学习路上的鸭子的博客 1万+

RDD2022 数据格式转换与清洗

Rdd2022数据集,是关于道路损伤的数据集,与rdd2020相比增加了两万多张图片但是由于格式不能被yolo直接使用且其中有大量的图片没有符合要求的标注,特写此文章记录数据清洗与格式化的过程。

蓝胖子的博客 9952

docker版fastdfs单机版搭建

fastdfs介绍 FastDFS是一个以C语言开发的开源轻量级分布式文件系统,由阿里巴巴开发并开源。它对文件进行管理,功能包括:文件存储、文件同步、文件访问(上传、下载)等。解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 优点 FastDFS作为一个分布式服务器,对轻量级、横向扩展、容灾备份、高可用、高性能、负载均衡都有着充分的考虑 组成 FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端..

总分全班第一 603

C语言专升本编程题

湖南省专升本选拔考试,C语言程序设计内部习题

weixin_45729947的博客 2117

FastDFS 6.11.0 单机环境搭建与测试(附 Nginx 集成)+ docker构建+k8s启动文件

FastDFS是一款开源的分布式文件存储系统,专为海量小文件存储设计。本文介绍了FastDFS 6.11.0单机环境的搭建过程,包括核心组件Tracker、Storage和Client的功能说明,以及安装所需的软件包(如libfastcommon、libserverframe、Nginx等)。详细讲解了从基础依赖安装到FastDFS配置与启动的完整步骤,包括Tracker和Storage的关键配置项设置,并提供了相关命令操作指南。文章适合本地开发测试,生产环境建议采用集群部署。

XMYX-0 961

ROS2入门到精通—— ROS2实战专栏(实时更新)

Nav2专栏介绍

BigDavid123的博客 2370

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Docker搭建单机FastDfs

目录标题概念操作测试Java代码配置 概念       FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。      FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容

weixin_44355908的博客 381

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

电商项目--分布式文件存储FastDFS搭建

分布式文件存储FastDFS搭建

kong7906928的博客 1391

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

【Fastdfs】通过 docker 快速搭建集群 fastdfs 环境

fastDFS docker集群搭建镜像构建码云文件构建新的镜像/使用我的镜像也行架构示例服务器创建文件夹(每台服务器)获取配置文件(每台服务器)安装trackertracker01(103)tracker02(104)安装storagestorage01(103,104)storage02(103,104)搭建nginx并修改配置文件常见问题总结 镜像构建 码云文件 https://gitee....

清欢渡的博客 1069

基于 Docker 来安装 FastDFS

文章目录百度百科FastDFS 简介上传交互过程下载交互过程FastDFS 为什么要结合 Nginx其他资源FastDFS 安装环境准备创建工作目录docker-compose.yml 百度百科 参考百度百科 FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线...

七年蝉 2万+

Docker中搭建FastDFS文件系统(多图)

FastDFS 是以 C 语言开发的一项开源轻量级分布式文件系统,他对文件进行管理,主要功能有:文件存储,文件同步,文件访问(文件上传/下载)等,特别适合以文件为载体的在线服务,如:图片网站,视频网站等。我上传文件肯定是为了能够访问的呀,所以为了提供 web 访问,那么就需要集成 Nginx 了,但是比如就是想自己单独搞 Nginx…前面的补充已经提到了,默认上传的文件是只能在本机访问的,当然这样肯定是不行的,所以我们需要配置一下Nginx 来帮我们实现 Web 访问的效果。数最多的准没错,什么?

极客神殿 3560

docker安装fastdfs服务器

docker安装fastdfs服务器前言1. 下载fastdfs镜像,这里选择mypjb/fastdfs2. 创建宿主机保存fastdfs文件目录3.执行命令运行fastdfs容器5. 重启fastdfs容器6.测试 前言 fastdfs服务器安装起来非常的繁琐,所以本文就使用docker安装fastdfs进行深入的学习 1. 下载fastdfs镜像,这里选择mypjb/fastdfs docke...

时间定格点的博客 2333

springboot 整合分布式文件存储服务器fastDFS并使用docker部署fastDFS

大家好今儿给大家带来的是springboot 整合分布式文件存储服务器fastDFS并使用docker部署fastDFS 目录大家好今儿给大家带来的是springboot 整合分布式文件存储服务器fastDFS并使用docker部署fastDFS1.fastDFS简单介绍(个人理解)2.使用docker安装fastDFS3.springboot整合fastDFS4.测试5.总结 1.fastDFS简单介绍(个人理解) 1.FastDFS是一个开源的轻量级分布式文件存储系统,可以供我们去完成上传下载。 2.在

weixin_41914928的博客 1833

Docker-Compose安装单机版FastDFS

Docker-Compose安装单机版FastDFS

qq_49417441的博客 755

基于Docker搭建FastDFS服务

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDFS是纯C语言实现,只支持Linux、FreeBSD等UNIX系统。 FastDFS的两个核心概念分别是:Tracker(跟踪器)、Storage(存储节点) 首先启动docker systemctl start docker 1.下载FastDFS文件系统的do

weixin_62595121的博客 1619

快速在docker里面FastDFS安装单机版+nginx

什么是FastDFS FastDFS是一个开源的轻量级分布式文件系统,主要是使用它对文件进行管理,主要用到的功能是:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDFS充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务...

weixin_42276004的博客 659

分布式文件存储-FastDFS

整理知识点时翻出来的,想想还是发个博客好了,图片来源的博客找不到了,只能厚颜上个原创… FastDFS是一个开源的轻量级分布式文件系统 功能: 文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使...

weixin_44773418的博客 423
上一篇: 安装Android SDK时遇到“Done loading packages“解决方法,亲测可用!!
下一篇: Maven工程测试FastDFS demo
我睡觉时不困。
博客等级 码龄11年 36粉丝 19原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值