本文介绍了如何使用ossimport工具将1TB、5千万个GPS轨迹小文件从磁盘迁移到阿里云OSS。关键配置包括srcPrefix和destPrefix，线程数配置以及子任务最大文件个数。在8核32G的机器上，推荐配置100个线程，子任务文件个数10000。迁移过程中，通过监控DispatchedTasks和SucceedTasks等参数观察进度。此外，文章提到了上传过程中的费用和注意事项，包括GET和PUT请求费用，以及业务迁移策略。
前言
由于业务的增长，传统的基于磁盘的文件存储需要迁移到阿里云OSS对象存储中。我们的业务主要是涉及GPS轨迹小文件，大致有1TB，文件数量5千万。在使用阿里云ossimport工具的过程中有些基本概念不明确，导致了一些操作失误，特写下本文记录实战过程中的一些问题。
环境
- Ubuntu（阿里云ECS）
- 数据盘1TB，5千万个文件，数据层级最大6层
- 业务持续读写数据盘
- ossimport使用local模式，单机部署通过内网传输，使用方法请参考官方文档
问题汇总
ossimport具体怎么用？
首先肯定是下载ossimport到主机中，然后unzip解压，然后修改conf中的配置文件。我们实战过程中仅修改了以下配置，请酌情参考：
- srcPrefix：要上传的文件夹全路径
- destAccessKey：OSS密钥
- destSecretKey：OSS密钥
- destDomain：OSS上传域名，可在控制台中查看，如果内网能通建议使用内网（免流量费）
- destBucket：目的bucket，只填名称，不是路径
- destPrefix：OSS中的路径，不要以“/”开头，不然会报错
- taskObjectCountLimit：子任务最大的文件个数，见下文
- workerTaskThreadNum：在sys.properties中，见下文
需要明白srcPrefix和de
最低0.47元/天 解锁文章
扫一扫
1954
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
