Git Large File Storage介绍

Git Large File Storage（Git LFS）是一个 Git 扩展，用于改善大文件的处理。著名的huggingface就是使用它存储大模型文件。在使用传统的 Git 时，所有历史记录中的文件都存储在 Git 仓库中，这可能导致仓库变得异常庞大，尤其是当仓库包含大量的二进制文件（如图片、视频、数据集等）时。Git LFS 通过将大文件的内容存储在远程服务器上，并在 Git 仓库中保留指向这些大文件的指针，来解决这个问题。

主要特点

1. 改善大文件的处理：Git LFS 允许您在 Git 仓库中以更高效的方式处理大文件。

2. 文件指针替代实际文件：在提交到 Git 仓库时，大文件会被替换为轻量级的指针文件，而文件内容本身存储在 LFS 服务器上。

3. 节省空间：这种方法减少了本地仓库的大小，加快了克隆和拉取操作的速度。

4. 透明使用：对于使用仓库的用户来说，除了初始设置外，使用 Git LFS 与使用普通 Git 没有太大区别。

使用场景

• 管理大型二进制文件：适合项目中包含大量视频、图片、音频文件和二进制数据集的情况。
• 游戏开发、机器学习项目、视频制作等领域，这些领域通常需要处理大量的大型文件。

如何使用 Git LFS

1. 安装 Git LFS：首先，需要在您的系统上安装 Git LFS。您可以从 Git LFS 网站 下载并安装它。

2. 初始化 Git LFS：在您的 Git 仓库中初始化 Git LFS。

   git lfs install
   

3. 跟踪大文件：使用 git lfs track 命令来指定哪些文件类型应该用 LFS 来管理。

   git lfs track "*.psd"
   

4. 正常使用 Git：之后，您就可以像平时一样使用 git add, git commit, git push 等命令。大文件将自动通过 LFS 上传。

注意事项

• 存储限制：一些 Git 服务提供商（如 GitHub、GitLab）对存储在 LFS 上的数据有容量限制和带宽限制。
• 兼容性：使用 LFS 的仓库需要其他协作者也安装 Git LFS，以便正确处理大文件。
• 成本：对于大容量的存储和传输，可能会有额外的成本。

总体而言，Git LFS 是管理大型文件的有效工具，特别是对于那些因包含大量大型二进制文件而变得笨重的项目。通过使用 Git LFS，可以显著提高仓库的性能和效率。