上传和管理1T规模的Git仓库

针对上传和管理1T规模的Git仓库，以下是分步骤的解决方案和替换仓库的建议：

---

一、上传1T项目的方案

1. 评估项目结构

• 清理冗余文件：使用 .gitignore 排除临时文件、日志、二进制构建产物等。
• 拆分大文件：将非必须版本控制的文件（如数据集、媒体文件）移出仓库，改用外部存储（如云存储）。

2. 选择合适的大文件管理工具

• Git LFS（推荐）：

  • 安装并初始化Git LFS：git lfs install
  • 跟踪大文件类型：git lfs track "*.zip" "*.dat" "*.bin"
  • 将大文件推送到独立的LFS存储（注意托管平台的LFS配额，如GitHub限制为10GB，需购买扩展）。

• git-annex（替代方案）：

  • 更灵活管理大文件，但需自建存储服务器或集成支持的服务（如S3、Dropbox）。
  • 示例命令：

    git annex init
    git annex add large_file.dat
    git commit -m "Track large_file.dat via git-annex"
    

3. 分拆仓库（模块化）

• 使用 Git Submodules 或 Monorepo工具：
  • 将项目按目录拆分为多个子仓库。
  • 主仓库通过子模块引用各子仓库：

    git submodule add https://repo-url/submodule-path
    

4. 分块上传策略

• 增量提交：
  • 按目录分批提交和推送（避免单次推送1T数据）：

    git add dir1/
    git commit -m "Add dir1"
    git push origin main
    

• 调整Git配置：

  # 提高推送缓冲区大小
  git config --global http.postBuffer 2147483648
  

5. 选择支持大仓库的平台

• 自建Git服务器：
  • 使用Gitea、GitLab自托管，配置无限制仓库大小。
• 第三方服务：
  • Azure Repos（Azure DevOps）：默认支持10GB，但可联系支持放宽限制。
  • AWS CodeCommit：单仓库支持100GB，需分拆仓库。

---

二、替换现有仓库的方案

1. 清理历史记录（如需保留Git历史）

• 移除历史大文件：

  # 使用 git filter-repo 清理历史
  git filter-repo --path large-file.zip --invert-paths
  

• 重置主分支：

  git checkout --orphan new-main
  git add -A
  git commit -m "Fresh start"
  git branch -D main
  git branch -m main
  git push -f origin main
  

2. 新建仓库（放弃历史）

• 删除原仓库的 .git 目录，重新初始化：

  rm -rf .git
  git init
  git add .
  git commit -m "Initial commit (fresh start)"
  git remote add origin new-repo-url
  git push -u origin main
  

3. 协作迁移

• 通知团队：要求所有成员重新克隆仓库。
• 更新子模块/依赖：若使用子模块，需同步更新指向新仓库的URL。

---

三、替代方案（非Git）

• 版本控制系统选择：
  • Perforce (Helix Core)：专为超大项目设计，支持TB级仓库。
  • Mercurial (hg)：对大文件支持较好（hg largefiles扩展）。
• 混合存储：
  • 代码用Git管理，数据用云存储（S3/OSS）+ 版本化工具（如DVC）。

---

四、关键注意事项

• 带宽和稳定性：上传1T需稳定高速网络（预估时间：100Mbps带宽约需24小时）。
• 成本核算：Git LFS存储和流量费用可能较高（如GitHub LFS每GB存储$5/月，流量$0.5/GB）。
• 备份：上传前确保本地有完整备份。

---

通过上述方法，可以高效管理或替换特大Git仓库。首选建议使用 Git LFS+分模块 或 外部存储+DVC 的组合方案，降低对Git的依赖。