文件服务器大量文件的保存查重方法

---

方法介绍

本文使用的 SHA-256 作为查重方法结合四层目录存储结构，可以确保十亿级文件在不重复的情况下每级目录不超32767个文件

---

前置知识

一个好的文件存储要兼顾 存储 和 查重

• 存储
  不同系统盘符目录下保存的文件数量要求各不相同，如果想设计一个能较好的适配各种存储的文件存储方法那每个目录下的文件最好不要超过 32767 个，参考下表 ↓

  文件系统	适用系统	单目录最大文件数（理论/常规）	关键限制说明
  FAT32	Windows（旧）、U盘	理论：65535 个；实际：≤32767 个	依赖 16 位 FAT 表索引，单个目录最多存储 65535 个文件项；但实际中因元数据占用，通常不超过 3.2 万个。
  NTFS	Windows（主流）	理论：无固定上限；常规：≤1亿个	依赖“主文件表（MFT）”动态管理，单个目录的文件数量仅受