OceanBase数据库迁移工具介绍和部署-优快云博客

本文链接：https://blog.youkuaiyun.com/Sebastien23/article/details/149150351

OceanBase数据库迁移工具介绍和部署

核心组件
迁移支持
部署要求
单节点部署
查看日志

OceanBase 迁移服务（OceanBase Migration Service, OMS）是OceanBase数据库提供的一种支持同构或异构数据源与OceanBase数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。

核心组件

OMS社区版内部主要包含:

管理控制台：进行一站式迁移调度。
DBCat：数据对象采集和转换组件。
增量拉取组件Store、增量同步组件Incr-Sync、全量导入组件Full-Import和全量校验组件Full-Verification。
基础服务组件：集群管理、资源池管理、高可用组件和元数据管理等多个组件，以保证迁移模块的高效调度和稳定运行。

OMS社区版核心组件如下：

分类	名词解释
管控组件	- `Ghana`：OMS社区版控制台。 - `CM`：OMS社区版的集群管理服务。 - `Supervisor`：OMS社区版的代理服务，负责接收集群管理服务下发的指令并执行。
增量解析组件	- `Store`：用于对数据库事务日志进行拉取解析，并对解析后的日志记录按统一格式存储。下游可以从Store中以一致的方式消费增量数据，无需关心不同数据库间日志格式差异。 - `LogProxy`：OceanBase数据库日志代理。
框架组件	- `Incr-Sync`：增量同步组件:从增量拉取组件中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步至目标实例。 - `Full-Import`：全量导入组件:负责源库表对象中存量数据的迁移和部分增量数据的同步。 - `Full-Verification`：全量校验组件:负责迁移表中的行记录进行全字段校验，并针对不一致的数据生成订正语句。
其它	- `MetaDB`：基于容器部署的OceanBase数据库服务，并内置了OceanBase数据库代理，便于外部直接访问。MetaDB可以用于OCP、ODC和OMS等产品的元数据存储。 - `InfluxDB`：基于容器部署的时间序列数据库服务，用于存储OMS社区版的数据居传输项目的监控数据。

迁移支持

OMS社区版V4.2.9支持从以下异构数据库迁移到OceanBase：

MySQL：V5.5、V5.6、V5.7、V8.0
MariaDB：V10.2
TiDB：V2.x、V3.x、V4.x、V5.x、V6.x、V7.x、V8.x
PostgreSQL：V10.x、V11.x、V12.x、V13.x、V14.x、V15.x、V16.x
GreenPlum：V4、V5.1
HBase：V1.2.0-cdh5.15.2、社区版 V2.x
Redis：V2.8.0 及之后版本
Hive：V2.1.1、V3.1.3

OMS社区版V4.2.9支持到以下消息组件的数据同步：

Kafka V0.9、V1.0、V2.x
RocketMQ V4.7.1

部署要求

OMS部署前提：

需要安装docker环境，版本不低于V1.13。
需要安装一个存储OMS元数据的数据库（MySQL或OceanBase），服务器配置为2C4G即可。
如果需要收集和展示OMS历史监控数据，还需要部署InfluxDB时序数据库。

数据库到数据库的同步场景下，各组件部署所需要的资源：

	CPU	内存	磁盘
基础服务	1C	1G	100G
管控组件	4C	7G	100G
Store	4C	8G	取决于数据库端日志生成速度和OMS中增量数据的保存时间
Incr-Sync	2C	8G	5G
Full-Import	2C	4G	5G
总计	13C	28G	>210G

数据库到大数据的同步场景下，各组件部署所需要的资源：

	CPU	内存	磁盘
基础服务	1C	1G	100G
管控组件	4C	7G	100G
Store	4C	8G	取决于数据库端日志生成速度和OMS中增量数据的保存时间
Incr-Sync	2C	4G	5G
Full-Import	2C	4G	5G
总计	13C	24G	>210G

单节点部署

⭐️ OMS下载地址：https://www.oceanbase.com/softwarecenter
⭐️ 迁移同步工具 => OceanBase迁移服务 V4.2.9_CE

部署存储OMS元数据的数据库（MySQL或OceanBase）。
加载OMS镜像文件到docker环境：

sudo docker load -i oms_4.2.9-ce.tar.gz

加载完成后，检查镜像唯一标识符：

$ sudo docker images
REPOSITORY                                   TAG                 IMAGE ID          
work.oceanbase-dev.com/obartifact-store/oms  feature_4.0.0-ce    2786e8a6eccd

这里<OMS_IMAGE>可以是2786e8a6eccd或者work.oceanbase-dev.com/obartifact-store/oms:feature_4.0.0-ce。

（可选）部署时序数据库。

如果需要能够收集和展示监控数据库，可以部署时序数据库InfluxDB。目前时序数据库仅支持单节点部署，不具备高可用能力，可以将时序数据库和OMS社区版混合部署在同一台宿主机上。

📖 部署InfluxDB参考：https://www.oceanbase.com/docs/community-oms-cn-1000000002947306

从加载的镜像中获取部署脚本docker_remote_deploy.sh。

sudo docker run -d --net host --name oms-config-tool <OMS_IMAGE> bash && sudo docker cp oms-config-tool:/root/docker_remote_deploy.sh . && sudo docker rm -f oms-config-tool

# 替换<OMS_IMAGE>为镜像唯一标识符
sudo docker run -d --net host --name oms-config-tool work.oceanbase-dev.com/obartifact-store/oms:feature_4.0.0-ce bash && sudo docker cp oms-config-tool:/root/docker_remote_deploy.sh . && sudo docker rm -f oms-config-tool

准备配置文件。

配置文件config.yaml格式如下。

# OMS社区版元数据库信息（MySQL或OceanBase）
oms_meta_host: ${oms_meta_host}
oms_meta_port: ${oms_meta_port}
oms_meta_user: ${oms_meta_user}
oms_meta_password: ${oms_meta_password}
     
# 用户可以自定义以下三个数据库的名称，OMS 社区版部署时会在元信息库中创建出这三个数据库
drc_rm_db: ${drc_rm_db}
drc_cm_db: ${drc_cm_db}
drc_cm_heartbeat_db: ${drc_cm_heartbeat_db}
     
# OMS 社区版配置
# 单节点部署时，通常配置为当前OMS社区版机器IP（建议使用内网 IP）
cm_url: ${cm_url}
cm_location: ${cm_location}

# 单节点部署时，无需设置 cm_region
# cm_region: ${cm_region}
# 单节点部署时，无需设置 cm_region_cn
# cm_region_cn: ${cm_region_cn}
cm_is_default: true
cm_nodes:
 - ${cm_nodes}
     
# 时序数据库配置
# 默认值为 false。如果您需要开启指标汇报功能，请设置为 true
# tsdb_enabled: false 
# 当 tsdb_enabled 为 true 时，请取消下述参数的注释并根据实际情况填写
# tsdb_service: 'INFLUXDB'
# tsdb_url: '${tsdb_url}'
# tsdb_username: ${tsdb_user}
# tsdb_password: ${tsdb_password}

# 用户自定义组件端口号
# 指定 GHANA 服务的端口号
ghana_server_port: xxxxx

# 指定 Nginx 服务的端口号
nginx_server_port: xxxxx

# 指定 CM 服务的端口号
cm_server_port: xxxxx

# 指定 Supervisor 服务的端口号
supervisor_server_port: xxxxx

# 指定 sshd 服务的端口号
sshd_server_port: xxxxx

示例如下：

oms_meta_host: xxx.xxx.xxx.1
oms_meta_port: 2883
oms_meta_user: oms_meta_user
oms_meta_password: ********
drc_rm_db: oms_rm
drc_cm_db: oms_cm
drc_cm_heartbeat_db: oms_cm_heartbeat
cm_url: http://xxx.xxx.xxx.2:8088
cm_location: 100
cm_region: cn-beijing
cm_region_cn: 北京
cm_is_default: true
cm_nodes:
  - xxx.xxx.xxx.2
tsdb_service: 'INFLUXDB'
tsdb_enabled: true
tsdb_url: 'xxx.xxx.xxx.4:8086'
tsdb_username: username
tsdb_password: *******
ghana_server_port: xxxxx
nginx_server_port: xxxxx
cm_server_port: xxxxx
supervisor_server_port: xxxxx
sshd_server_port: xxxxx

通过部署脚本启动部署工具。

bash docker_remote_deploy.sh -o <OMS容器挂载目录> -c <config.yaml配置文件地址> -i <本机IP地址> -d <OMS_IMAGE>

如果部署失败，可以登录至运行的OMS容器中，查看/home/admin/logs目录下以docker_init为前缀的.log文件，获取日志信息。如果OMS容器未成功启动，则无法获取日志。

部署完成后，登录Web页面，设置admin和root初次登录密码。

OMS社区版控制台的访问地址：部署OMS社区版的宿主机的IP地址:8089。

检查OMS状态：

supervisorctl status

如果nginx、oms_console、oms_drc_cm、oms_drc_supervisor、sshd服务都处于RUNNING状态即为正常。

📖部署完成后，如果需要修改配置，请进行以下操作：

登录至运行的OMS社区版容器。
根据业务需求，修改/home/admin/conf/config.yaml文件。
执行命令python -m omsflow.scripts.units.oms_init_manager --init-config-file。
执行命令supervisorctl restart oms_console oms_drc_supervisor。

查看日志

Console组件日志的默认目录为/home/admin/logs/ghana/Ghana。
CM组件日志的默认目录为/home/admin/logs/cm/log。
Store组件日志的默认目录为/home/ds/store/store{storeport}/log。也可以在OMS社区版控制台查看Store组件日志。
Full-Import/Incr-Sync组件日志的默认目录为/home/ds/run/{组件ID}/logs。也可以在OMS社区版控制台查看Full-Import/Incr-Sync组件日志。
Full-Verification组件日志的目录为/home/ds/run/{name}/logs。也可以在OMS社区版控制台查看Full-Verification组件日志。
Supervisor组件日志：根据/home/ds/supervisor/config/drc.properties文件中logging.path项找到Supervisor组件日志所在位置。

References
【1】https://www.oceanbase.com/docs/community-oms-cn-1000000002947331