FastDFS分布式文件系统——上传本地文件

最新推荐文章于 2025-05-07 16:50:05 发布

戏拈秃笔

最新推荐文章于 2025-05-07 16:50:05 发布

阅读量1.6k

点赞数 25

分类专栏：开发框架文章标签：开发语言 java

本文链接：https://blog.youkuaiyun.com/weixin_72052233/article/details/139305497

版权

开发框架专栏收录该内容

37 篇文章

订阅专栏

安装FastDFS

FastDFS

使用Java客户端上传本地文件到FastDFS服务器上

安装FastDFS

1、用FastDFS一步步搭建文件管理系统 - bojiangzhou - 博客园 (cnblogs.com)
2、FastDFS文件上传功能封装 - 动力节点 (bjpowernode.com)
3、
注意事项：
我主要是按照第二篇文章安装，但经常在make编译时出错，出错后，又按照第一篇文章重新下载资源，再编译，一般都通过。
下面“使用Java客户端上传本地文件到FastDFS服务器上”的项目示例，是按照第二篇文章进行学习的
更改配置文件里的tracker_server时，用的地址是linux的IP地址

FastDFS

FastDFS 是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。

FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。　

Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。　

Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。

Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。

使用Java客户端上传本地文件到FastDFS服务器上

1、下载fastdfs-client-java-master

wangwei216/fastdfs-client-java-master (github.com)

2、打包成jar包，导入本地Maven仓库

The POM for org.csource:fastdfs-client-java:jar:1.27-RELEASE is missing_could not find artifact org.csource:fastdfs-client-优快云博客

3、新建一个Project，Module

项目结构：

pom.xml

如果tracketClient.getConnection（）爆红，fast-client-java的依赖选用1.27版本即可
如果在自己Maven的本地仓库找到该依赖，但项目仍然报错，说找不到该依赖，检查settings里的Maven仓库地址是否改为了本地仓库地址

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.study</groupId>
    <artifactId>fastdfs</artifactId>
    <version>1.0-SNAPSHOT</version>

    <!--加入FastDFS的java客户端依赖-->
    <dependencies>
        <dependency>
            <groupId>org.csource</groupId>
            <artifactId>fastdfs-client-java</artifactId>
            <version>1.27-SNAPSHOT</version>
        </dependency>
    </dependencies>
</project>

fastdfs_conf配置文件

从第一步下载的fastdfs-client-java-master里的复制fastdfs_conf过来，然后把tracker_server的IP地址改成linux的IP地址

connect_timeout = 2
network_timeout = 30
charset = UTF-8
http.tracker_http_port = 8080
http.anti_steal_token = no
http.secret_key = FastDFS1234567890

#tracker_server = 10.0.11.247:22122
#tracker_server = 10.0.11.248:22122
#tracker_server = 10.0.11.249:22122
tracker_server = 192.168.40.128:22122

FastDFS

package com.study.fastdfs;

import org.csource.common.MyException;
import org.csource.fastdfs.*;

import java.io.IOException;

public class FastDFS {
    private static TrackerServer trackerServer = null;
    private static StorageServer storageServer = null;
    public static void main(String[] args) throws IOException, MyException {

        getStorageClient();
        fileUpload();
        fileDownload();
        fileDelete();
        closeFastDFS();
    }
    //抽取获取StorageClient的方法
    public static StorageClient getStorageClient() throws IOException, MyException {
        //1.加载配置文件，默认去classpath下加载
        ClientGlobal.init("fdfs_client.conf");
        //2.创建TrackerClient对象
        TrackerClient trackerClient = new TrackerClient();
        //3.创建TrackerServer对象
        trackerServer = trackerClient.getConnection();
        //4.创建StorageServler对象
        storageServer = trackerClient.getStoreStorage(trackerServer);
        //5.创建StorageClient对象，这个对象完成对文件的操作
        StorageClient storageClient = new StorageClient(trackerServer,storageServer);
        return storageClient;
    }
    //抽取关闭资源的方法
    public static void closeFastDFS() {
        if (storageServer != null) {
            try {
                storageServer.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        if (trackerServer != null) {
            try {
                trackerServer.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
    public static void fileUpload(){
        try {
            //1. 获取StorageClient对象
            StorageClient storageClient = getStorageClient();
            //2.上传文件  第一个参数：本地文件路径 第二个参数：上传文件的后缀 第三个参数：文件信息
            String [] uploadArray = storageClient.upload_file("D:/aa.txt","txt",null);
            for (String str:uploadArray) {
                System.out.println(str);
            }
        } catch (IOException e) {
            e.printStackTrace();
        } catch (MyException e) {
            e.printStackTrace();
        } finally {
            closeFastDFS();
        }
    }

    /**
     * group1
     * M00/00/00/wKgogGZajP6ADZGDAAAAG082hAE063.txt
     */

    //下载文件的方法
    public static void fileDownload(){
        try {
            //1. 获取StorageClient对象
            StorageClient storageClient = getStorageClient();
            //2.下载文件 返回0表示成功，其它均表示失败
            int num = storageClient.download_file("group1",
                    "M00/00/00/wKgogGZajP6ADZGDAAAAG082hAE063.txt","E:/bb.txt");
            System.out.println(num);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (MyException e) {
            e.printStackTrace();
        } finally {
            closeFastDFS();
        }
    }
    //删除文件的方法
    public static void fileDelete(){
        try {
            //1. 获取StorageClient对象
            StorageClient storageClient = getStorageClient();
            //2.删除文件 返回0表示成功，其它均表示失败
            int num = storageClient.delete_file("group1",
                    "M00/00/00/wKgogGZajP6ADZGDAAAAG082hAE063.txt");
            System.out.println(num);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (MyException e) {
            e.printStackTrace();
        } finally {
            closeFastDFS();
        }
    }
}

测试

1. 启动带有Fastdfs模块的Nginx
/usr/local/nginx_dfs/sbin/nginx -c /usr/local/nginx_dfs/conf/nginx.conf
2. 重启或启动FastDFS服务进程
fdfs_trackerd /etc/fdfs/tracker.conf restart
fdfs_storaged /etc/fdfs/storage.conf restart
如果storage启动失败，或者一直卡住，没有结果，排除了配置文件等一些明显的错误后，可能是网络问题，重启网络即可
3、启动项目

测试文件上传时，报如下错误，则需要关闭防火墙