【fastdfs 安装及使用】

最新推荐文章于 2025-02-26 11:36:23 发布
最新推荐文章于 2025-02-26 11:36:23 发布
阅读量467 收藏
点赞数
分类专栏： 没有bug是最大的bug 文章标签： java 中间件 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36079016/article/details/124192808
版权

1.fastdfs 公司资源使用

部署在公司服务器 123.456.789.116 [单机部署]

占用端口 tracker 22122 storage 23000

需要使用时配置文件如下 【116服务器 22122 端口未开通外网访问 本地无法连接 部署到 116服务器服务可以连接】

fsstore:
  url: http://abc.def:1180/group1/
  bucket: group1
fdfs:
  connect-timeout: 601
  so-timeout: 1501
  tracker-list:
  - 123.456.789.116:22122

#防火墙需要关闭
systemctl stop firewalld.service #关闭
​
#编译环境
yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y

2.环境准备

基于官方给的wiki进行安装,但是踩了不少的坑。根据部署过程遇到的问题以及解决方案，整合官方wiki修改后加入更详细的内容。

官方wiki地址 https://github.com/happyfish100/fastdfs/wiki/安装步骤

环境准备

名称说明
服务器centos 7.x 【本次安装 tracker storage nginx 都在 123.456.789.116】
nginxnginx 1.16.0 【可以不用提前安装】
libfastcommonFastDFS分离出的一些公用函数包
FastDFSFastDFS本体
fastdfs-nginx-moduleFastDFS和nginx的关联模块
安装包位置 /usr/local/src
数据存储位置位置 /home/dfs/

3.安装步骤

1.创建及进入目录

#创建数据存储目录
mkdir /home/dfs 
#切换到安装目录准备下载安装包
cd /usr/local/src

2.安装libfastcommon

git clone https://github.com/happyfish100/libfastcommon.git --depth 1
cd libfastcommon/
#编译安装
./make.sh && ./make.sh install

3.安装FastDFS

#返回上一级目录
cd ../ 
git clone https://github.com/happyfish100/fastdfs.git --depth 1
cd fastdfs/
#编译安装
./make.sh && ./make.sh install
#配置文件准备
#供nginx访问使用
cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/
#供nginx访问使用
cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/

4.安装fastdfs-nginx-module

cd ../ #返回上一级目录
git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

5.加入fastdfs-nginx-module 模块

5.1 已安装nginx【116已经提前安装过nginx】

因为已经安装过nginx 所以需要重新编译加入fastdfs-nginx-module 模块。

  • 备份nginx,备份nginx防止配置错误以备还原
cp /usr/local/nginx/sbin/nginx    /usr/local/nginx/sbin/nginx_bak_20220413
  • 查看nginx的版本号以及加载模块的情况
cd /usr/local/nginx/sbin
#configure arguments 模块信息后面要用
./nginx -V

​
nginx version: nginx/1.16.0
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC) 
configure arguments: --prefix=/usr/local/nginx
  • 进入到原始编译目录
cd  /usr/local/nginx-1.16.0
  • 配置追加 【–prefix=/usr/local/nginx 就是前面的 configure arguments 模块，后面的 -add-module 添加fastdfs模块】
./configure \
--prefix=/usr/local/nginx  \
--add-module=/usr/local/src/fastdfs-nginx-module/src

  • 编译

    make

    • 将新生成的nginx 拷贝到运行目录

      cp rfp  objs/nginx   /usr/local/nginx/sbin/nginx

      踩坑开始

      一开始使用的是 cp objs/nginx /usr/local/nginx/sbin/nginx
然后报错
cp:cannot create regular file `/usr/local/nginx/sbin/nginx': Text file busy
      • 检查下nginx是否正常
     cd  /usr/local/nginx/sbin/nginx
 ./nginx -t
5.2未安装nginx

  • 安装nginx

    wget http://nginx.org/download/nginx-1.16.0.tar.gz #下载nginx压缩包
tar -zxvf nginx-1.16.0.tar.gz #解压
cd nginx-1.16.0/
#添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ 
make && make install #编译安装

    6.配置修改

    tracker配置

vim /etc/fdfs/tracker.conf 
base_path=/home/dfs  # 存储日志和数据的根目录

storage 配置

vim /etc/fdfs/storage.conf
base_path=/home/dfs  # 数据和日志文件存储根目录
store_path0=/home/dfs  # 第一个存储目录
tracker_server=123.456.789.116:22122  # tracker服务器IP和端口
http.server_port=18080  # http访问文件的端口(和nginx中对外的端口保持一致 116 是 18080)

mod_fastdfs.conf 修改

 vim /etc/fdfs/mod_fastdfs.conf
url_have_group_name = true  
# 后面url访问发现404 回来查看配置才发现改成的是trues 所以配置文件修改细节要注意 坑往往是自己埋的
# 当时的报错nginx日志如下
ERROR - file: ../common/fdfs_global.c, line: 52, the format of filename "group1/M00/00/00/wKi1hF1mMACAJTDkAAHHR5CQLhc364.png" is invalid
store_path0=/home/dfs
tracker_server=123.456.789.116:22122

client 修改

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/home/dfs
tracker_server=123.456.789.116:22122    #tracker服务器IP和端口
http.tracker_server_port = 18080  # http访问文件的端口(和nginx中对外的端口保持一致 116 是 18080)

7.nginx 配置

123.456.789.116 和123.456.789.115均有配置 115做外面访问转发,也是域名那台服务器

  #123.456.789.115
  location /group1/ {
                 proxy_pass http://123.456.789.116:18080/group1/;
            }

# 123.456.789.116
  location /group1/M00 {
            root   /home/dfs;
             ngx_fastdfs_module;
          }

需要重启 nginx，而非 reload 又踩坑了 访问图片的时候404 nginx log 报错如下

[emerg] 67870#0: unknown directive "ngx_fastdfs_module" in /usr/local/nginx/conf/nginx.conf:70

#重启nginx
systemctl restart nginx
#然而。。。。。 新的错误出现了
Failed to reload nginx.service: Unit not found
#是因为nginx没有有添加到系统服务
vim /etc/init.d/nginx

# 将下面内容复制到里面 保存退出

#!/bin/sh
# nginx - this script starts and stops the nginx daemin
#
# chkconfig:   - 85 15

# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server

# processname: nginx
# config:      /usr/local/nginx/conf/nginx.conf
# pidfile:     /usr/local/nginx/logs/nginx.pid

# Source function library.

. /etc/rc.d/init.d/functions

# Source networking configuration.

. /etc/sysconfig/network

# Check that networking is up.

[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/local/nginx/sbin/nginx"

prog=$(basename $nginx)

NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"

lockfile=/var/lock/subsys/nginx

start() {

    [ -x $nginx ] || exit 5

    [ -f $NGINX_CONF_FILE ] || exit 6

    echo -n $"Starting $prog: "

    daemon $nginx -c $NGINX_CONF_FILE

    retval=$?

    echo

    [ $retval -eq 0 ] && touch $lockfile

    return $retval

}


stop() {

    echo -n $"Stopping $prog: "

    killproc $prog -QUIT

    retval=$?

    echo

    [ $retval -eq 0 ] && rm -f $lockfile

    return $retval

}



restart() {

    configtest || return $?

    stop

    start

}


reload() {

    configtest || return $?

    echo -n $"Reloading $prog: "

    killproc $nginx -HUP

    RETVAL=$?

    echo

}

force_reload() {

    restart

}


configtest() {

  $nginx -t -c $NGINX_CONF_FILE

}



rh_status() {

    status $prog

}


rh_status_q() {

    rh_status >/dev/null 2>&1

}

case "$1" in

    start)

        rh_status_q && exit 0
        $1
        ;;

    stop)


        rh_status_q || exit 0
        $1
        ;;

    restart|configtest)
        $1
        ;;

    reload)
        rh_status_q || exit 7
        $1
        ;;


    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;


    condrestart|try-restart)

        rh_status_q || exit 0
            ;;

    *)

        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2

esac

cd /etc/init.d
chmod 755 /etc/init.d/nginx
chkconfig –-add nginx
#先停止后启动
service nginx  stop
service nginx  start

8.启动服务并测试上传

cd /usr/bin
#启动
fdfs_trackerd  /etc/fdfs/tracker.conf 
fdfs_storaged  /etc/fdfs/storage.conf 
#检查服务是否启动
netstat -apn|grep 22122
netstat -apn|grep 23000
#测试上传
fdfs_test   /etc/fdfs/client.conf upload   /xxx.jpg
#会返回 exam file url 放到浏览器看是否能访问 如果404 或400 查看nginx log 分析问题
# eg. http://123.456.789:18080/group1/M00/00/00/CgoKdGJWk6-ARfmNAAGWQd5yXU0272.jpg

确认没问题后修改项目对应配置，测试项目上传是否正常。

finish.

FastDFS的安装及使用
weixin_42779560的博客
02-20 1213
FastDFS的简单介绍 什么是分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。 通俗来讲： - 传统文件系统管理的文件就存储在本机。 - 分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理。无论是上传或者访问文件，都需要通过...
FastDFS安装配置使用
qq_47711757的博客
12-30 799
FastDFS安装测试
FASTDFS的安装与使用
dualvencsdn的博客
01-10 624
(1)总体安装指导 https://yq.aliyun.com/articles/138490?spm=5176.10695662.1996646101.searchclickresult.20ab452cuuoWJS （2）其中编译有问题 https://blog.youkuaiyun.com/zzzgd_666/article/details/81911892 （3）其中版本又有问题 https...
Linux下安装FastDFS步骤详解
最新发布
ts977的博客
02-26 1609
FastDFS 是一个高性能、轻量级的分布式文件系统，广泛应用于大规模文件存储和管理，特别适用于图片、视频等静态资源的存储。其高可用性、高并发处理能力以及良好的扩展性，使得 FastDFS 成为处理海量文件存储的理想选择。在这篇文章中，我们将详细介绍如何在 Linux 系统上安装和配置 FastDFS。无论你是第一次接触分布式文件系统，还是希望在生产环境中部署 FastDFS，本教程都会帮助你快速掌握安装流程。
FastDfs安装和使用
weixin_41289395的博客
02-13 604
1 FastDFS介绍 FastDFS 是一个由 C 语言实现的开源轻量级分布式文件系统，作者余庆(happyfish100)，支持 Linux、FreeBSD、AID 等 Unix 系统，解决了大数据存储和读写负载均衡等问题，适合存储 4KB~500MB 之间的小文件，如图片网站、短视频网站、文档、app 下载站等，UC、京东、支付宝、迅雷、酷狗等都有使用。 该软件作者是阿里巴巴大牛、china...
FastDFS分布式文件系统的使用
qq_26074673的博客
03-03 310
FastDFS分布式文件系统的使用 一、FastDFS服务器的搭建 1）资源文件的上传。 用微信扫描下面的二维码。 2）centos环境下的搭建。 FastDFS是C语言开发，安装FastDFS需要先从官网下载源码，然后进行编译，但编译依赖gcc环境，如果没有gcc环境，需要安装gcc： Rpma--->rpmb--->rpmc yum a yum -y install gcc-c++ Yum FastDFS依赖libevent库，需要安装： yum -y install libevent 可
fastDFS安装和使用
Bingo_Zq的博客
09-05 507
fastDFS安装和使用
fastdfs 安装及使用
07-14
**FastDFS安装** 1. **环境准备**：首先确保服务器运行的是Linux操作系统，且已安装基础工具如gcc、make、wget等。还需要安装Nginx，因为FastDFS通常与Nginx结合使用，作为HTTP服务器提供文件访问。 2. **下载源码...
FastDFS 安装及使用说明
07-31
### FastDFS 安装及使用说明 #### 一、FastDFS 概述 FastDFS 是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载...
FastDFS安装使用说明
01-09
1. 单机版FastDFS安装 1.1 上传 将压缩包上传到linux下的/home/fdfs目录: 1.2 安装依赖 FastDFS运行需要一些依赖,如下： 1.2.1 安装GCC依赖 GCC用来对C语言代码进行编译运行，使用yum命令安装： sudo yum -y install...
FastDFS和Linux下安装使用FastDFS 安装Nginx 分布式文件系统.docx
07-21
【在Linux环境下安装和使用FastDFS】 在Linux系统中部署FastDFS通常涉及以下步骤： 1. 安装必要的依赖库，如libevent、libcurl等。 2. 下载FastDFS的源码包并解压。 3. 配置编译环境，执行make和make install。 4. ...
FastDFS分布式文件系统安装与使用
weixin_38380811的博客
11-04 1507
FastDFS
fastdfs安装使用
weixin_60092693的博客
12-19 443
学习笔记
fastdfs的安装配置与使用
JayXu's Blog
04-29 553
目录1、FastDFS安装前准备： 1、FastDFS安装前准备： 1.1、检查Linux上是否安装了gcc、libevent、libevent-devel，执行如下yum命令检查： yum list installed | grep gcc yum list installed | grep libevent yum list installed | grep libevent-devel 如果没有安装，则需要进行安装，执行命令：yum install gcc libevent libevent-deve
FastDFS的安装配置及其使用
Button的博客
05-06 2425
fastDFS
fastDFS
jinduozhao的博客
07-21 656
1. fastDFS 概述：   是用c语言编写的一款开源的分布式文件系统。   为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标   可以很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务 fastDFS特点:   应用层级的文件系统   不能挂载和卸载，也就是不能进行mount操作 fastDFS框架中的
FastDFS
YUAN
12-18 1009
FastDFS 简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题 关于上传 流程 1、client询问tracker上传到storage，不需要附加参数 2、Tracker返回一台可用的storage 3、Client直接和storage通讯完成文件上传 关于下载 流程 1、...
FastDFS - FastDFS使用
MinggeQingchun的博客
06-09 602
一、分布式文件系统DFS 分布式文件系统（Distributed File System，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件更加简便。 传统存储方式 分布式存储 分布式文件系统一般文件系统存储数据的方式数据分散的存储在多台服务器
FDFS....二、安装FastDFS环境
dixialaoshu4的专栏
07-28 650
0、前言 操作环境：CentOS7 X64，以下操作都是单机环境。 我把所有的安装包下载到/softpackages/下，解压到当前目录。 先做一件事，修改hosts，将文件服务器的ip与域名映射(单机TrackerServer环境)，因为后面很多配置里面都需要去配置服务器地址，ip变了，就只需要修改hosts即可。 # vim /etc/hosts 增加如下一行，这是我的IP 172....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值