阿里云OSS迁移工具ossimport实战心得

前言

        由于业务的增长，传统的基于磁盘的文件存储需要迁移到阿里云OSS对象存储中。我们的业务主要是涉及GPS轨迹小文件，大致有1TB，文件数量5千万。在使用阿里云ossimport工具的过程中有些基本概念不明确，导致了一些操作失误，特写下本文记录实战过程中的一些问题。

环境

• Ubuntu（阿里云ECS）
• 数据盘1TB，5千万个文件，数据层级最大6层
• 业务持续读写数据盘
• ossimport使用local模式，单机部署通过内网传输，使用方法请参考官方文档

问题汇总

ossimport具体怎么用？

        首先肯定是下载ossimport到主机中，然后unzip解压，然后修改conf中的配置文件。我们实战过程中仅修改了以下配置，请酌情参考：

• srcPrefix：要上传的文件夹全路径
• destAccessKey：OSS密钥
• destSecretKey：OSS密钥
• destDomain：OSS上传域名，可在控制台中查看，如果内网能通建议使用内网（免流量费）
• destBucket：目的bucket，只填名称，不是路径
• destPrefix：OSS中的路径，不要以“/”开头，不然会报错
• taskObjectCountLimit：子任务最大的文件个数，见下文
• workerTaskThreadNum：在sys.properties中，见下文

        需要明白srcPrefix和de