FastDFS简介

简介

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

存储节点存储文件，完成文件管理的所有功能：就是这样的存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key valuepair）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。

跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。 
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。 
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。 
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。 
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

FastDFS提供的功能：

1、upload 上传文件 
2、upload_appender：上传appender文件，后续可已对其进行append操作 
3、upload_slave：上传从文件 
4、download 下载文件 
5、delete 删除文件 
6、append：在已有文件后追加内容 
7、set_metadata：设置文件附加属性 
8、get_metadata：获取文件附加属性

FastDFS的特点：

1、分组存储、灵活简洁 
2、对等结构、不存在单点 
3、文件ID有FastDFS生成，作为文件访问凭证。FastDFS不需要传统的name server 
4、和流行的web server无缝连接，FastDFS已提供apache和nginx扩展模块 
5、大、中、小文件均可以很好支持，支持海量小文件存储 
6、支持多块磁盘，支持但盘数据恢复 
7、支持相同文件内容只保存一份，节省存储空间 
8、存储服务器上可以保存文件附加属性 
9、下载文件支持多线程方式、支持断点续传

FastDFS架构解读：

1、只有两个角色，tracker server和storage server，不需要存储文件索引信息 
2、所有服务器都是对等的，不存在Master-Slave关系 
3、存储服务器采用分组方式，同组内存储服务器上的文件完全相同 
4、不同组的storage server之间不会相互通信 
5、不同组的storage server之间不会相互通信 
6、有storage server主动向tracker server报告状态信息，tracker server 之间通常不会相互通信

FastDFS如何解决同步延迟问题？

1、storage生成的文件名中，包含源头storage IP地址和文件创建的时间戳 
2、源头storage定时向tracker报告同步情况，包括向目标服务器同步到的文件时间戳 
3、tracker收到storage的同步报告后，找出该组内每台storage被同步到的时间戳（取最小值），作为storage属性保存到内存中

FastDFS扩展模块要点：

1、使用扩展模块来解决文件同步延迟问题 
2、对每台storage server上部署web server，直接对外提供HTTP服务 
3、tracker server上不需要部署web server 
4、如果请求文件在当前storage上不存在，通过文件ID反解出源storage，直接请求源storage 
5、目前已提供apache和nginx扩展模块 
6、FastDFS扩展模块不依赖于FastDFS server，可以独立存在

FastDFS扩展模块特性：

1、仅支持HTTP HEAD和GET 
2、支持token方式的防盗链（缺省是关闭的） 
-ts：生成token的时间（unix时间戳） 
-token：32未得token字符串（md5签名） 
3、支持制定保存的缺省文件名，URL参数名为filename 
4、支持断点续传

上传交互过程

client询问tracker上传到的storage，不需要附加参数；
tracker返回一台可用的storage；
client直接和storage通讯完成文件上传。
下载交互过程

client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
tracker返回一台可用的storage；
client直接和storage通讯完成文件下载。 
需要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。
--------------------- 
作者：jkxqj 
来源：优快云 
原文：https://blog.youkuaiyun.com/jkxqj/article/details/78476662 
版权声明：本文为博主原创文章，转载请附上博文链接！
一、理论基础

FastDFS比较适合以中小文件为载体的在线服务，比如跟NGINX（APACHE）配合搭建图片服务器。

分布式文件系统FastDFS

FastDFS是纯C语言实现，只支持Linux、FreeBSD等UNIX系统。

FastDFS的两个核心概念分别是：Tracker（跟踪器）、Storage（存储节点）

        跟踪器Tracker主要做调度工作，相当于mvc中的controller的角色，在访问上起负载均衡的作用。跟踪器和存储节点都可以由一台或多台服务器构成，跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务，其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

       跟踪器Tracker负责管理所有的Storage和group，每个Storage在启动后会连接Tracker，

  告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，

  建立group==>[storage server list]的映射表，Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为tracker cluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。 

        存储节点Storage采用了分卷[Volume]（或分组[group]）的组织方式，存储系统由一个或多个组组成，组与组之间的文件是相互独立的，所有组的文件容量累加就是整个存储系统中的文件容量。

   一个卷[Volume]（组[group]）可以由一台或多台存储服务器组成，一个组中的存储服务器中的文件都是相同的，组中的多台存储服务器起到了冗余备份和负载均衡的作用，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。

1,fastdfs有三部分构成：client，tracer server，storage server；
2，文件上传流程：
    1. Client询问Tracker server应上传到哪个Storage server；
    2. Tracker server返回一台可用的Storage server，返回的数据为该Storage server的IP地址和端口；
    3. Client直接和该Storage server建立连接，进行文件上传。
    4. Storage server返回新生成的文件ID，文件上传结束。
    5. 连接关闭。
3，文件下载：
    1. client询问tracker可以下载指定文件的storage，参数为文件ID（组名和文件名）；
    2. tracker返回一台可用的storage；
    3. client直接和storage通信完成文件下载。
    4. 连接关闭。
总结:

每个组都有唯一的trunk leader,组内所有trunk文件的信息，由这个trunk leader内部组织的avl树来保存。
上传文件后，storage会向trunk leader发起申请空间的请求，这时trunk leader会使用一个全局的锁，获得了trunk存储的位置后，storage在本地写磁盘。
下载文件时，trunk信息在文件名里面已经包含，只需要直接读即可。
使用trunk方式主要是为了解决node过多造成读写性能下降的问题，但是引入trunk方式本身也会造成一定的性能损耗。
目前感觉我对trunk功能还是hold不住，包括如果trunk出错，怎么样恢复trunk文件的数据，因为没有提供的官方的工具，所以不太敢用。

1 client发出请求，accept线程catch到描述符，初始化pTask结构，填入描述符，然后将pTask通过管道给work_entrance

2 进入storagerecvnotify_read函数

3 根据当前的pTask->stage等于FDFSSTORAGESTAGEINIT为fd创建读事件，绑定函数clientsock_read

4 调用storageuploadfile

5 storageuploadfile调用storagewriteto_file

6 storagewritetofile调用压磁盘队列函数storagedioqueuepush

7 storagedioqueuepush将pTask->stage |= FDFSSTORAGESTAGEDIO_THREAD

8 根据事件触发机制，clientsockread将被不断的调用，然而由于pTask->stage != FDFSSTORAGESTAGE_RECV，所以返回

9 磁盘线程通过队列取pTask，调用pTask的处理函数diowritefile

10 调用storageuploadfiledonecallback，调用storagenionotify，通过管道的形式将pTask压入工作进程

11 触发storagerecvnotifyread，将task->stage的FDFSSTORAGESTAGEDIO_THREAD标志去除

12 根据task->stage的FDFSSTORAGESTAGERECV状态，调用函数clientsock_read

13 clientsockread读取完以后调用磁盘队列函数storagedioqueue_push

14 重复7

15 直到结束