阿里云OSS不同账号之间的迁移(使用阿里云自带的ossimport工具)

一、Ossimport概述
ossimport是一款将数据迁移至OSS的工具。您可以将ossimport部署在本地服务器或云上ECS实例内，轻松将您本地或其它云存储的数据迁移到OSS。
ossimport具有以下特点：
支持丰富的数据源，包括本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等，并可根据需要扩展。
支持单机模式和分布式模式。单机模式部署简单使用方便，分布式模式适合大规模数据迁移。
支持断点续传。
支持流量控制。
支持迁移指定时间以后的文件、特定前缀的文件。
支持并行数据下载和上传。
二、运行环境配置
ossimport可以部署在Linux或Windows系统上，要求如下：
Windows7及以上版本
Linux系统最新版本
Java 1.7及以上版本
配置jdk

[root@host~]# yum install -y java
[root@host~]# java --version
openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

三、部署方式选择
ossimport有单机模式和分布式模式两种部署方式。
单机模式：当您需要迁移的数据小于30TB时，推荐部署单机模式。您可以将ossimport部署在任意一台可以访问您待迁移数据，且可以访问OSS的机器上。
分布式模式：当您需要迁移的数据大于30TB时，推荐部署分布式模式。您可以将ossimport部署在任意多台可以访问您待迁移数据，且可以访问OSS的机器上。
以下为单机模式
四、下载并部署ossimport

# wget http://gosspublic.alicdn.com/ossimport/standalone/ossimport-2.3.1.zip?spm=a2c4g.11186623.2.12.58b029d8vsI8DG&file=ossimport-2.3.1.zip
# cd /usr/local && mkdir ossimport
# unzip ossimport-2.3.1.zip -d ossimport/

单机模式下文件结构如下：

ossimport
├── bin
│ └── ossimport2.jar  # 包括Master、Worker、Tracker、Console四个模块的总jar
├── conf
│ ├── local_job.cfg   # 单机Job配置文件
│ └── sys.properties  # 系统运行参数配置文件
├── console.bat         # Windows命令行，可以分布执行调入任务
├── console.sh          # Linux命令行，可以分布执行调入任务
├── import.bat          # Windows一键导入，执行配置文件为conf/local_job.cfg配置的数据迁移任务，包括启动、迁移、校验、重试
├── import.sh           # Linux一键导入，执行配置文件为conf/local_job.cfg配置的数据迁移任务，包括启动、迁移、校验、重试
├── logs                # 日志目录
└── README.md           # 说明文档，强烈建议使用前仔细阅读
其中：
Job：用户通过提交的数据迁移任务，对用户来说一个任务对应一个配置文件job.cfg。
Task：Job按照 “数据大小” 和 “文件个数” 可以分成多个 Task ，每个 Task 迁移部分文件。Job切分成Task的最小单位是文件，同一个文件不会切分到多个Task中。
注意：
执行命令时请保证工作目录为 import.sh 的同级目录，即直接执行 bash import.sh

五、修改单机Job的配置文件local_job

[root@host~]# vim /usr/local/ossimport/local_job.cfg #修改单机job配置文件
#以下为需要修改的内容
isIncremental=false	#不开启增量模式
srcAccessKey=ADSCVSDdc8OOFwececHd5	#配置源oss的access key
srcSecretKey=fjOKSDksdxceca8O57wdmPV	#配置源oss的SecretKey
srcDomain=http://oss-cn-hangzhou-internal.aliyuncs.com	#配置源oss的内网地址
srcBucket=abcimg	#配置源Bucket名称
destAccessKey=LTAIabQkcs7sxZqMd	#配置目标access key
destSecretKey=aPKlasdfickv9wsd23ZOUKo4sd	#配置目标secret key
destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com	#配置目标oss的内网地址
destBucket=abcoss	#配置目标bucket名称

local_job的配置文件解析请移步官网阿里云对象存储配置
六、执行迁移

[root@host~]# cd /usr/local/ossimport
[root@hostossimport]# /bin/bash import.sh

提示：
Job运行信息，可以查看log/ossimport2.log。
Task的失败原因，可以查看master/jobs/$JobName/faile{d}_{t}asks/${TaskName}/audit.log。
Task的失败文件，可以查看master/jobs/$JobName/faile{d}_{t}asks/${TaskName}/error.list。