FastDFS 分布式文件系统搭建-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_51241202/article/details/128239202

FastDFS学习笔记

1、分布式文件系统介绍

使用传统方式存放的文件，也就是使用一台tomca专门存储照片或者视频，一旦服务器宕机，就会出现整个服务不可用，如果这台计算机的磁盘损坏了，还会导致文件丢失。传统方式的缺点：
1、服务器宕机，整个服务不可用
2、计算机的磁盘损坏、文件丢失
3、存储的容量有限
使用分布式文件系统，也就是在用户上传文件的时候，由分布式文件系统根据一定的规则，将文件存放到某一个计算机上。并且将这个文件的备份也放在其他的机器上。
分布式文件系统的优点：
1、解决了传统方式的单点故障的问题，如果某一个节点出现故障，其他台的机器仍然可以正常运行，并且能够正常访问和存入数据，
2、提供数据的备份，避免数据丢失
3、提供库容的机制，无限增加文件的存放上限

2、FastDFS简介

它是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源。FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

3、FastDFS架构

FastDFS文件系统由两大部分构成，一个是客户端，一个是服务端
客户端通常指我们的程序，比如我们的Java程序去连接FastDFS、操作FastDFS，那我们的Java程序就是一个客户端，FastDFS提供专有API访问，目前提供了C、Java和PHP几种编程语言的API，用来访问FastDFS文件系统。
服务端由两个部分构成：一个是跟踪器（tracker），一个是存储节点（storage）
跟踪器（tracker）主要做调度工作，在内存中记录集群中存储节点storage的状态信息，是前端Client和后端存储节点storage的枢纽。因为相关信息全部在内存中，Tracker server的性能非常高，一个较大的集群（比如上百个group）中有3台就足够了。
存储节点（storage）用于存储文件，包括文件和文件属性（meta data）都保存到存储服务器磁盘上，完成文件管理的所有功能：文件存储、文件同步和提供文件访问等。
其中所谓的文件同步指的是当在上传一个文件到其中一台图片服务器的时候，他会再复制一份备份的图片。

FastDFS两个主要的角色：Tracker Server 和 Storage Server 。

Tracker：跟踪服务器，管理集群，tracker也可以实现集群。每个tracker节点地位平等。收集Storage集群的状态。可以实现负载均衡的作用。
Storage：存储服务器，实际保存文件，分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。
Client:客户端
Group: 组或者卷，同组的节点提供备份，不同的组用于扩容

3.2、文件上传的过程

文件上传的过程

3.3、文件下载的过程

文件下载的过程

4、FastDFS安装

可以使用Xshell去远程连接linux,xftp去把相关的jar包下载到linux的指定位置上例如(cd /usr/local/upload)
官方网址：happyfish100

5 FastDFS搭建过程

1.Linux下使用FastDFS

本教程所有操作均在CentOS 7.x环境下进行。

所需文件的安装，上传到/usr/upload目录下：
libfatscommon：FastDFS分离出的一些公用函数包
FastDFS：FastDFS本体
fastdfs-nginx-module：FastDFS和nginx的关联模块
nginx：发布访问服务

1.1.单节点FastDFS

整个安装过程非常复杂，很容易出错，建议进行多次备份。

我们这里不打算安装多台虚拟机，因此会把tracker和storage都安装在一起。

1.1.1.安装gcc

GCC用来对C语言代码进行编译运行，使用yum命令安装：

yum -y install gcc

1.1.3.安装libfastcommon-master

libfastcommon-master.zip（是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库）

#解压刚刚上传的libfastcommon-master.zip
unzip libfastcommon-master.zip

#进入解压完成的目录
cd libfastcommon-master

# 编译
./make.sh  
# 安装         
./make.sh install

1.1.4.安装fastdfs

tar -zxvf FastDFS_v5.08.tar.gz

cd FastDFS

# 编译
./make.sh 
# 安装
./make.sh install

如果安装成功，会看到/etc/init.d/下看到提供的脚本文件：

ll /etc/init.d/ | grep fdfs

fdfs_trackerd 是tracker启动脚本
fdfs_storaged 是storage启动脚本

能够在 /etc/fdfs/ 目录下看到默认的配置文件模板：

ll /etc/fdfs/

tarcker.conf.sample 是tracker的配置文件模板
storage.conf.sample 是storage的配置文件模板
client.conf.sample 是客户端的配置文件模板

1.1.5.配置并启动tracker服务

FastDFS的tracker和storage在刚刚的安装过程中，都已经被安装了，因此我们安装这两种角色的方式是一样的。不同的是，两种需要不同的配置文件。

我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

1）首先将模板文件复制

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2）修改复制后的配置文件：

vim /etc/fdfs/tracker.conf

修改的内容如下：
base_path=/powershop/tracker # 存储日志和数据的根目录

3）新建目录：

mkdir -p /powershop/tracker

注意：关闭防火墙：

chkconfig iptables off

4）启动和停止

启动tracker服务器: /etc/init.d/fdfs_trackerd start

停止tracker服务器: /etc/init.d/fdfs_trackerd stop

不过安装过程中，fdfs已经被设置为系统服务，我们可以采用熟悉的服务启动方式：

service fdfs_trackerd start # 启动fdfs_trackerd服务，停止用stop

检查FastDFS Tracker Server是否启动成功：

ps -ef | grep fdfs_trackerd

设置tracker服务开机启动:

chkconfig fdfs_trackerd on

1.1.6.配置并启动storage服务

1）首先将模板文件复制

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2）修改复制后的配置文件：

vim /etc/fdfs/storage.conf

修改的内容如下:

base_path=/powershop/storage                 # 日志文件存储根目录 

store_path0=/powershop/storage           # 文件存储目录 

tracker_server=192.168.164.125:22122       #  tracker服务器IP和端口

3）新建目录：

mkdir -p /powershop/storage

注意关闭防火墙： chkconfig iptables off

4）启动和停止

启动storage服务器：/etc/init.d/fdfs_storaged start

停止storage服务器：/etc/init.d/fdfs_storaged stop

推荐使用：

service fdfs_storaged start  # 启动fdfs_storaged服务，停止用stop

检查FastDFS Tracker Server是否启动成功：

ps -ef | grep fdfs

设置storage服务开机启动：

chkconfig fdfs_storaged on

2.使用nginx访问FastDFS

2.1.为什么需要用Nginx访问？

FastDFS在安装完成后是无法使用http请求去访问文件的。需要通过nginx。
FastDFS通过Tracker服务器,将文件放在Storage服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。
假设Tracker服务器将文件上传到了192.168.4.125，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.4.126，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.4.126上取文件,就会出现文件无法访问的错误。
而fastdfs-nginx-module可以重定向文件连接到文件上传时的源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误

2.2.安装fastdfs-nginx-module插件

2.2.1.解压

cd/usr/upload

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

2.2.2.修改config

1）进入src目录

cd fastdfs-nginx-module/src

2）编辑config

vim config

使用以下底行命令：（使用冒号就进入底行模式了）

:%s+/usr/local/+/usr/+g

将所有的/usr/local替换为 /usr，这个才是正确的目录:

2.2.3.配置fastdfs-nginx-module与FastDFS关联配置文件

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录，并修改

cp /usr/upload/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

vim /etc/fdfs/mod_fastdfs.conf

修改以下配置：

connect_timeout=10                       # 客户端访问文件连接超时时长（单位：秒）

tracker_server=192.168.164.125:22122    # tracker服务IP和端口

url_have_group_name=true                # 访问链接前缀加上组名

store_path0=/powershop/storage            # 文件存储路径

复制 FastDFS 的部分配置文件到/etc/fdfs 目录，否则不支持nginx

cd /usr/upload/FastDFS/conf/
cp http.conf mime.types /etc/fdfs/

2.3.安装Nginx

2.3.1.如果没有安装过nginx

安装nginx的依赖库

yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel
解压安装包

tar -zxvf nginx-1.10.0.tar.gz
配置nginx安装包，并指定fastdfs-nginx-model

cd nginx-1.10.0

./configure --prefix=/usr/local/nginx --add-module=/usr/upload/fastdfs-nginx-module/src

注意：在执行./configure配置nginx参数的时候，需要将fastdfs-nginx-moudle源码作为模块编译进去。

编译并安装

make && make install

2.3.2.如果已经安装过nginx

1）进入nginx目录：

cd /usr/upload/nginx-1.10.0/

2）配置FastDFS 模块

./configure --prefix=/usr/local/nginx --add-module=/usr/upload/fastdfs-nginx-module/src

注意：这次配置时，要添加fastdfs-nginx-moudle模块

3）编译，注意，这次不要安装（install）

make

4）替换nginx二进制文件:

备份：

mv /usr/bin/nginx /usr/bin/nginx-bak

用新编译的nginx启动文件替代原来的：

cp objs/nginx /usr/bin/

2.3.3.启动nginx

配置nginx整合fastdfs-module模块

我们需要修改nginx配置文件：

vim  /usr/local/nginx/conf/nginx.conf

将文件中，原来的server 80{ …} 部分代码替换为如下代码：

    server {
        listen       80;
        server_name  image.powershop.com;

    	# 监听域名中带有group的，交给FastDFS模块处理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;#获得fastdfs中图片的存在路径  /usr/storage/group/0/atm.jpg
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

启动nginx：

./nginx	# 启动nginx

./nginx -s stop	# 停止nginx

./nginx -s reload	# 重新载入配置文件

可通过ps -ef | grep nginx查看nginx是否已启动成功

2.4.Nginx开机启动

2.4.1.编写开机启动文件

添加nginx.service文件

vim /lib/systemd/system/nginx.service
文件内容如下：

[Unit]
Description=nginx
After=network.target

[Service]
Type=forking
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/usr/local/nginx/sbin/nginx -s stop
PrivateTmp=true

[Install]
WantedBy=multi-user.target

2.4.2.设置开机启动

systemctl daemon-reload        #重新加载服务配置
systemctl enable nginx.service #设置为开机启动
systemctl start nginx.service  #启动服务
systemctl status nginx.service #查看服务状态
systemctl stop nginx.service   #停止服务

浏览器输入网址image.powershop.com，它会在hosts文件中查找，发现有这个ip地址，然后返回给浏览器，浏览器拿到这个ip地址去查找对应的主机，这时候linux中的nginx接收到了浏览器发送的请求，nginx服务器将这个请求转发给ngx-model(负责显示图片的)