一、文档目的
在使用 TiDB Cloud 过程中,通常大家面临的第一个难题便是如何将现有集群的数据导入至 TiDB Cloud 集群中,”很幸运“地是 TiDB Cloud 上提供了多种方式可以帮助大家完成这一过程,大家可以自行到官网上查看。本文档提供了将 AWS S3 中数据导入至 TiDB Cloud 集群的操作步骤,供大家参考。
说明:目前在免费的 TiDB Cloud Dev Tier 集群中, Web 界面导入的数据源仅支持 AWS S3 ,支持的数据格式有 4 种:TiDB dumping、Aurora Backup Snapshot、CSV 和 Parquet,本次测试模拟将 AWS S3 中 dumpling 格式的数据导入至 TiDB Cloud 集群,其他的数据格式也是类似方式。
二、在 TiDB Cloud 上创建测试集群
1. 选择免费的 “Developer Tier”
2. 创建测试集群
3. 集群创建成功后,设置本地标准连接
(1)选择 Overview -》 选择 Connect -》 Standard Connection
(2)添加本地 IP 地址
(3)测试本地连接成功
三、在 AWS S3 上创建 bucket 并设置权限
1. 在 AWS 中创建 S3 bucket ,并上传 dumpling 导出的文件
(1)获取 s3 bucket 的 ARN (arn:aws:s3:::dumplingtest),后面在 AWS IAM 中创建策略会用到(创建 bucket 过程省略)
(2)在 s3 bucket 中上传 dumpling 工具导出的数据文件(过程省略),放到子目录 testdata 下
说明:测试数据来源为本地集群通过 dumpling 工具导出的 SQL 文件
2. 在 AWS IAM 中创建访问 S3 桶的 policy
(1)创建策略,编写策略规则
- 填写 S3 bucket 的 ARN 信息: arn:aws:s3:::dumplingtest
- 权限 s3.GetObject 、s3.GetObjectVersion 和 s3 bucket 中子目录对应
- 权限 s3.ListBucket 、 s3.GetBucketLocation 和 s3 bucket 对应
作者:TiDB社区干货传送门
链接:https://juejin.cn/post/7080816112555786248
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。