FastDFS

我这个看这懵逼 结合起来看就蒙了

下面俩路径

https://my.oschina.net/tshblogs/blog/1859721
https://blog.youkuaiyun.com/BLUESKYHOST/article/details/103394443

1. Centos下安装FastDFS

1.1 上传

将课前资料中的文件上传到linux下的/home/leyou/fdfs目录:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RPPagDLO-1575464684680)(assets/1526205834487.png)]

1.2 安装依赖

FastDFS运行需要一些依赖,在课前资料提供的虚拟中已经安装好了这些依赖,如果大家想要从头学习,可以按下面方式安装:

1.2.1 安装GCC依赖

GCC用来对C语言代码进行编译运行,使用yum命令安装:

sudo yum -y install gcc
1.2.2 安装unzip工具

unzip工具可以帮我们对压缩包进行解压

sudo yum install -y unzip zip
1.2.3 安装libevent
sudo yum -y install libevent
1.2.4 安装Nginx所需依赖
sudo yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel
1.2.5 安装libfastcommon-master

这个没有yum包,只能通过编译安装:

  • 解压刚刚上传的libfastcommon-master.zip

    unzip  libfastcommon-master.zip
    
  • 进入解压完成的目录:

    cd libfastcommon-master
    
  • 编译并且安装:

./make.sh && ./make.sh install

service fdfs_trackerd start


到这里为止,所有依赖都已经安装完毕,接下来我们安装FastDFS:

### 1.3 安装FastDFS
####依赖
```java
yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget  

fdfs安装最新

  191  yum install -y gcc gcc-c++
  192  yum -y install libevent
  193  wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
  194  yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget  
  195  wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
  196  tar -zxvf libfastcommonV1.0.7.tar.gz -C /usr/local/
  197  cd /usr/local/
  198  ls
  199  cd 
  200  ls
  201  tar -zxvf V1.0.7.tar.gz -C /usr/local/
  202  cd /usr/local/libfastcommon-1.0.7/
  203  ls
  204  ./make.sh 
  205  ./make.sh install
  206  cd /usr/lib64/
  207  ls
  208  ls | grep libfastcommon.so 
  209  cp libfastcommon.so /usr/lib
  210  cd 
  211  wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
  212  ip addr
  213  ls
  214  tar -zxvf v5.05.tar.gz -C /usr/local
  215  tar -zxvf V5.05.tar.gz -C /usr/local
  216  cd /usr/local
  217  ls
  218  cd fastdfs-5.05/
  219  LS
  220  ls
  221  ./make.sh && ./make.sh install
  222  cp /usr/local/fastdfs-5.05/conf/* /etc/fdfs/
  223  cd /etc/
  224  cd fdfs/
  225  ls
  226  vi tracker.conf
  227  /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
  228  mkdir -p /leyou/fdfs/tracker
  229  /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
  230  ps -ef | grep fdfs
  231  ls
  232  vi storage.conf
  233  service fdfs_storaged start
  234  mkdir -p /leyou/fdfs/storage
  235  /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
  236  ps -ef | grep fdfs
  237  history 

配置客户端

1.3.1 编译安装

这里我们也采用编译安装,步骤与刚才的编译安装方式一样:

  • 解压

    tar -xvf FastDFS_v5.08.tar.gz
    
  • 进入目录

    cd FastDFS
    
  • 编译并安装

    sudo ./make.sh 
    sudo ./make.sh install
    
  • 校验安装结果

1)安装完成,我们应该能在/etc/init.d/目录,通过命令ll /etc/init.d/ | grep fdfs看到FastDFS提供的启动脚本:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qQiVG7OV-1575464684681)(assets/1524237469238.png)]

其中:

  • fdfs_trackerd 是tracker启动脚本
  • fdfs_storaged 是storage启动脚本

2)我们可以在 /etc/fdfs目录,通过命令查看到以下配置文件模板:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nHUirLxf-1575464684683)(assets/1524237531578.png)]

其中:

  • tarcker.conf.sample 是tracker的配置文件模板
  • storage.conf.sample 是storage的配置文件模板
  • client.conf.sample 是客户端的配置文件模板
1.3.2 启动tracker

FastDFS的tracker和storage在刚刚的安装过程中,都已经被安装了,因此我们安装这两种角色的方式是一样的。不同的是,两种需要不同的配置文件。

我们要启动tracker,就修改刚刚看到的tarcker.conf,并且启动fdfs_trackerd脚本即可。

  • 编辑tracker配置

首先我们将模板文件进行赋值和重命名:

sudo cp tracker.conf.sample tracker.conf
sudo vim tracker.conf

打开tracker.conf,修改base_path配置:

base_path=/leyou/fdfs/tracker # tracker的数据和日志存放目录
  • 创建目录

刚刚配置的目录可能不存在,我们创建出来

sudo mkdir -p /leyou/fdfs/tracker
  • 启动tracker

    我们可以使用 sh /etc/init.d/fdfs_trackerd 启动,不过安装过程中,fdfs已经被设置为系统服务,我们可以采用熟悉的服务启动方式:

sudo service fdfs_trackerd start # 启动fdfs_trackerd服务,停止用stop

另外,我们可以通过以下命令,设置tracker开机启动:

sudo chkconfig fdfs_trackerd on
1.3.3 启动storage

我们要启动tracker,就修改刚刚看到的tarcker.conf,并且启动fdfs_trackerd脚本即可。

  • 编辑storage配置

首先我们将模板文件进行赋值和重命名:

sudo cp storage.conf.sample storage.conf
sudo vim storage.conf

打开storage.conf,修改base_path配置:

base_path=/leyou/fdfs/storage # storage的数据和日志存放目录
store_path0=/leyou/fdfs/storage # storage的上传文件存放路径
tracker_server=192.168.56.101:22122 # tracker的地址
  • 创建目录

刚刚配置的目录可能不存在,我们创建出来

sudo mkdir -p /leyou/fdfs/storage
  • 启动storage

    我们可以使用 sh /etc/init.d/fdfs_storaged 启动,同样我们可以用服务启动方式:

sudo service fdfs_storaged start  # 启动fdfs_storaged服务,停止用stop

另外,我们可以通过以下命令,设置tracker开机启动:

sudo chkconfig fdfs_storaged on

最后,通过ps -ef | grep fdfs 查看进程:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S7MQYcgc-1575464684685)(assets/1524237414200.png)]

1.4 安装Nginx及FastDFS模块

1.4.1 FastDFS的Nginx模块
  • 解压

    tar -xvf fastdfs-nginx-module_v1.16.tar.gz
    

  • 配置config文件

    # 进入配置目录
    cd /home/leyou/fdfs/fastdfs-nginx-module/src/
    # 修改配置
    vim config
    # 执行下面命令(将配置中的/usr/local改为/usr):
    :%s+/usr/local/+/usr/+g
    

  • 配置mod_fastdfs.conf

    # 将src目录下的mod_fastdfs.conf复制到 /etc/fdfs目录:
    sudo cp mod_fastdfs.conf /etc/fdfs/
    # 编辑该文件
    sudo vim /etc/fdfs/mod_fastdfs.cof
    
  • 修改一下配置:

    connect_timeout=10                  		# 客户端访问文件连接超时时长(单位:秒)
    tracker_server=192.168.56.101:22122  	# tracker服务IP和端口
    url_have_group_name=true            		# 访问链接前缀加上组名
    store_path0=/leyou/fdfs/storage        		# 文件存储路径
    
  • 复制 FastDFS的部分配置文件到/etc/fdfs目录

    cd /home/leyou/fdfs/FastDFS/conf/
    cp http.conf mime.types /etc/fdfs/
    

1.4.2 安装Nginx
  • 解压

    tar -xvf nginx-1.10.0.tar.gz
    

  • 配置

    sudo ./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/home/leyou/fdfs/fastdfs-nginx-module/src
    

  • 编译安装

    sudo make && sudo make install
    

  • 配置nginx整合fastdfs-module模块

    我们需要修改nginx配置文件,在/opt/nginx/config/nginx.conf文件中:

    sudo vim  /opt/nginx/conf/nginx.conf
    

    将文件中,原来的server 80{ ...} 部分代码替换为如下代码:

        server {
            listen       80;
            server_name  image.taotao.com;
    
        	# 监听域名中带有group的,交给FastDFS模块处理
            location ~/group([0-9])/ {
                ngx_fastdfs_module;
            }
    
            location / {
                root   html;
                index  index.html index.htm;
            }
    
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
                root   html;
            }
            
        }
    
  • 启动

    nginx # 启动
    nginx -s stop # 停止
    nginx -s reload # 重新加载配置
    
  • 设置nginx开机启动

    创建一个开机启动的脚本:

    vim /etc/init.d/nginx
    

    添加以下内容:

    #!/bin/sh
    #
    # nginx - this script starts and stops the nginx daemon
    #
    # chkconfig:   - 85 15
    # description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
    #               proxy and IMAP/POP3 proxy server
    # processname: nginx
    # config:      /etc/nginx/nginx.conf
    # config:      /etc/sysconfig/nginx
    # pidfile:     /var/run/nginx.pid
    
    # Source function library.
    . /etc/rc.d/init.d/functions
    
    # Source networking configuration.
    . /etc/sysconfig/network
    
    # Check that networking is up.
    [ "$NETWORKING" = "no" ] && exit 0
    
    nginx="/usr/bin/nginx"
    prog=$(basename $nginx)
    
    NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"
    
    [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
    
    lockfile=/var/lock/subsys/nginx
    
    make_dirs() {
       # make required directories
       user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
       if [ -n "$user" ]; then
          if [ -z "`grep $user /etc/passwd`" ]; then
             useradd -M -s /bin/nologin $user
          fi
          options=`$nginx -V 2>&1 | grep 'configure arguments:'`
          for opt in $options; do
              if [ `echo $opt | grep '.*-temp-path'` ]; then
                  value=`echo $opt | cut -d "=" -f 2`
                  if [ ! -d "$value" ]; then
                      # echo "creating" $value
                      mkdir -p $value && chown -R $user $value
                  fi
              fi
           done
        fi
    }
    
    start() {
        [ -x $nginx ] || exit 5
        [ -f $NGINX_CONF_FILE ] || exit 6
        make_dirs
        echo -n $"Starting $prog: "
        daemon $nginx -c $NGINX_CONF_FILE
        retval=$?
        echo
        [ $retval -eq 0 ] && touch $lockfile
        return $retval
    }
    
    stop() {
        echo -n $"Stopping $prog: "
        killproc $prog -QUIT
        retval=$?
        echo
        [ $retval -eq 0 ] && rm -f $lockfile
        return $retval
    }
    
    restart() {
        configtest || return $?
        stop
        sleep 1
        start
    }
    
    reload() {
        configtest || return $?
        echo -n $"Reloading $prog: "
        killproc $nginx -HUP
        RETVAL=$?
        echo
    }
    
    force_reload() {
        restart
    }
    
    configtest() {
      $nginx -t -c $NGINX_CONF_FILE
    }
    
    rh_status() {
        status $prog
    }
    
    rh_status_q() {
        rh_status >/dev/null 2>&1
    }
    
    case "$1" in
        start)
            rh_status_q && exit 0
            $1
            ;;
        stop)
            rh_status_q || exit 0
            $1
            ;;
        restart|configtest)
            $1
            ;;
        reload)
            rh_status_q || exit 7
            $1
            ;;
        force-reload)
            force_reload
            ;;
        status)
            rh_status
            ;;
        condrestart|try-restart)
            rh_status_q || exit 0
                ;;
        *)
            echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
            exit 2
    esac
    
    
  • 修改文件权限,并加入服务列表

    # 修改权限
    chmod 777 /etc/init.d/nginx 
    # 添加到服务列表
    chkconfig --add /etc/init.d/nginx 
    
  • 设置开机启动

    chkconfig nginx on
    

<think>好的,用户想了解FastDFS分布式文件系统的介绍及使用。首先,我需要整理一下FastDFS的基本信息。根据引用[1],分布式文件系统是指物理存储资源不直接连接在本地节点,而是通过网络连接,或者组合多个逻辑分区形成文件系统。FastDFS是其中一种,属于轻量级、开源的系统,适合处理大容量存储和负载均衡,常用于相册、视频网站等在线服务。 接下来,我应该详细说明FastDFS的架构。根据引用[3],FastDFS由跟踪服务器(Tracker Server)和存储服务器(Storage Server)组成。Tracker负责调度和负载均衡,Storage则管理文件存储。这种设计有助于提高可用性和扩展性。 然后,用户可能想知道FastDFS的功能特点。根据引用[2]和[3],主要功能包括文件存储、同步和访问,解决大容量存储问题,并支持冗余备份和线性扩容。需要强调其高可用性和高性能,适合以文件为载体的服务。 应用场景部分,可以提到云计算、大数据分析、图片和视频存储,如引用[1]和[3]所述。此外,FastDFS在相册和视频网站中的具体应用例子能帮助用户理解实际用途。 使用流程方面,需要分步骤说明:安装配置Tracker和Storage,上传下载文件的流程,以及如何与Nginx结合提供HTTP服务。引用[2]提到Nginx+FastDFS的搭建,可以补充这部分内容,说明如何通过Nginx扩展访问能力。 最后,生成相关问题时要覆盖架构、对比其他系统、高可用实现、安装步骤和适用场景。这样用户能进一步探索他们关心的方面。需要确保回答结构清晰,引用正确,符合用户的要求。</think>### FastDFS分布式文件系统介绍及使用 #### 一、FastDFS简介 FastDFS(Fast Distributed File System)是一个开源的轻量级分布式文件系统,专为互联网应用设计,适用于文件存储、同步和访问场景。其核心目标是解决大容量存储和负载均衡问题,支持高可用、高性能的文件服务,适合图片、视频等在线服务[^3]。 #### 二、核心架构 FastDFS由两部分组成: 1. **Tracker Server(跟踪服务器)** 负责调度和负载均衡,管理Storage Server的分组信息,不直接存储文件数据,而是通过调度请求选择合适的存储节点。 2. **Storage Server(存储服务器)** 实际存储文件的节点,支持横向扩展,通过冗余备份机制保障数据可靠性。 #### 三、功能特性 1. **文件存储与同步** 支持文件分块存储,通过文件ID(包含组名和文件名)快速定位文件位置。文件同步机制确保多副本数据一致性[^2]。 2. **高性能与高可用** 通过线性扩容和负载均衡策略提升吞吐量,冗余备份避免单点故障[^3]。 3. **轻量级设计** 依赖少,部署简单,适合中小规模文件存储需求。 #### 四、典型应用场景 1. **图片/视频存储** 如相册网站、短视频平台,支持高并发上传和下载[^3]。 2. **云存储服务** 结合Nginx等工具提供HTTP访问接口,支持静态资源分发[^2]。 3. **大数据分析** 作为底层存储系统,支撑海量非结构化数据的存储需求[^1]。 #### 五、使用流程示例 1. **安装与配置** - 部署Tracker Server:配置IP和端口,设置存储节点分组规则。 - 部署Storage Server:绑定Tracker地址,指定存储路径和备份策略。 ```bash # 动Tracker服务 fdfs_trackerd /etc/fdfs/tracker.conf # 动Storage服务 fdfs_storaged /etc/fdfs/storage.conf ``` 2. **文件上传与下载** - 客户端通过Tracker获取可用Storage节点。 - 文件上传后返回唯一文件ID(如`group1/M00/00/00/abc.jpg`)。 - 下载时根据文件ID定位到具体存储节点。 3. **结合Nginx扩展访问能力** 通过FastDFS的Nginx模块提供HTTP服务,支持文件直链访问[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值