【OSS 排查方案-7】ossimport 大数据量迁移方案总结

背景：

面临客户不断的将友商的存储数量迁移到阿里云上。ossimport 工具越来越多的暴露在用户端，但是合理的利用 ossimport 工具以及良好的迁移架构数据能否帮助用户高效的快速迁移。但是如果对 ossimport 不熟知，而且迁移架构没有经过测试，反而会降低我们的迁移效率，影响客户的全面战略上云计划安排。

 

迁移架构的演进：

传统的迁移方式：

本地 localfile -> 迁移到 OSS 云端

第三方存储 -> 迁移到 OSS 云端

以上的传统迁移方式都会遇到一个功能的问题就是公网的干扰因素不可以避免，尤其是当下的国内网络环境错综复杂，很难保证公网没有拥塞抖动，即便是大物理带宽的情况也不可幸免。于是有了 vpc 网络环境的改进。

进化 VPC 环境迁移：

在引入了 VPC 的概念后，用户解决了网络上带来的慢速的头疼问题，带来了一系列好处,，这里的  VPC 概念是指（通过 OSS 内网传输 or 走 VPC 专线传输）

• 迁移数据源到 OSS 端，没有带宽流量的限制（不包括 ECS 内部限制）
• VPC 内网环境迁移，使用 OSS 内网域名，不收取流量费用。
• VPC 环境延迟对比公网极低，基本无丢包，除非遇到线路故障

第三方 storage -> 数据盘 copy -> IDC 机器 -> VPC 专线 push->  OSS 云端

第三方 storage <- pull ECS -> VPC 专线 push -> OSS 云端

第三方 storage <- pull ECS  -> OSS 内网 endpoint push -> OSS 云端

本地文件 -> OSS 内网 endpoint push -> OSS 云端

本地文件 -> VPC 专线 push -> OSS 云端

 我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

合理迁移配置：

目前还是推荐客户按照 VPC 的环境方式进行迁移，在服务体验感上有很大提升。在迁移过程中 OSS SLA 没有承诺迁移速度有明确指标，而且迁移数据和多因素有关（机器配置、数据量、网络、线程、限流等），所以根据实际情况进行问题诊断。

首先在迁移之前，要求使用者要先大致的学习一下我们的配置属性说明，和相关文件的作用，日志存储，异常处理等。

https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11174283.6.1079.sbu1ch

 

配置迁移文件单机版：

迁移前要明确用户的迁移体量和文件数量。目的是合理的配置 task 和线程数量，以及 ossimport 的工作模型。

一般迁移体量小于 30TB 的完全可以采用单机模式进行迁移，单机版可以配置多线程的方式进行迁移，调节 workerTaskThreadNum 参数，需要注意的是如果是高配，物理机的话，数量可以调大，可以参考 平均文件 size * 线程数量，对比 memory 是否够用，同时也要参考 CPU 核心数量是否能否抗住这种并发量。

当高并发，且文件的 size 较大时，如果配置数量不合理，会出现设备 OOM 的情况，可以通过 /var/log/message 看到，这是要么选择降低并发线程数量，要么是增大机器配置。

如果是本地 ECS 或者第三方存储迁移到 OSS ，请注意源是否有限流，目前经常会出现源发现有大流量流出后直接给限制住，导致迁移速度无法增长。关键参数 workerMaxThroughput(KB/s)，如果源没有限制，可以释放调大这数。

其他 sys.properties 文件中的属性不要随意改动。

 

在迁移中可能遇到的问题：

一、数据流量一直涨不上去速度不快，这种情况，检查几个相关因素

• 迁移的网络环境
• 源流是否有限制
• 线程配置数量是否合理。
• 本机带宽是否被打满
• 机器负载是否飚高

原文链接