通过Transporter迁移MongoDB 数据至elasticsearch

Transporter 数据迁移

最新推荐文章于 2025-09-22 15:02:03 发布

原创

最新推荐文章于 2025-09-22 15:02:03 发布 · 2.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#Transporter #Elasticsearch #数据迁

2. 设置pipeline的source，transform，sink

3.测试连接

4. 迁移数据

参考文档

Transporter 安装

transporter 是通过go语言编写的，所以先要安装Go。以下通过windows进行举例。

Go安装

去https://golang.org/dl/下载Go的安装包，如go1.10.3.windows-amd64.zip。
解压下载的安装包go1.10.3.windows-amd64.zip。
设置Go的系统环境变量，GO_HOME=E:\softwares\go，具体路径根据安装路径而定。
在安装路径下新建pkg，bin, src目录，一般解压之后就已经存在了。
在src目录下新建目录：Go安装路径\src\github.com\compose。如E:\softwares\go\src\github.com\compose

C:\Users\flypig>go version
go version go1.10.3 windows/amd64

执行go version 命令查看是否设置正确，出现上图则Go安装成功。

Git安装

若机器上已经安装git，则忽略；没安装则安装git。git下载：https://git-for-windows.github.io/

Clone transporter源码

进入刚刚建立的路径：E:\softwares\go\src\github.com\compose 拉取transporter源码。

git clone https://github.com/compose/transporter

Build transporter源码

transporter源码拉下来之后进入 transporter目录，E:\softwares\go\src\github.com\compose\transporter

go get -a ./...
go build ./cmd/transporter

build之后，在当前目录将出现transporter.exe文件。

到此，transporter就安装好了。

准备MongoDB 数据

在MongoDB中，创建一个测试collection： testcol。

插入几条数据至testcol，如：

/* 1 */
{
    "_id" : ObjectId("5b47061b7228335bdf97ba88"),
    "firstName" : "Robert",
    "lastName" : "Baratheon"
}

/* 2 */
{
    "_id" : ObjectId("5b4706327228335bdf97ba89"),
    "firstName" : "John",
    "lastName" : "Snow"
}

/* 3 */
{
    "_id" : ObjectId("5b4745d97228335bdf97ba8a"),
    "firstName" : "张三",
    "lastName" : "李四"
}

接下来，将要通过transporter 将testcol数据迁移至elasticsearch。