从MongoDB迁移到PostgreSQL：golang-migrate/migrate方案
项目地址: https://gitcode.com/gh_mirrors/mi/migrate 你是否正在经历从MongoDB到PostgreSQL的数据迁移难题？面对文档型数据库到关系型数据库的范式转换，如何确保数据结构平滑过渡、业务逻辑无缝衔接？本文将通过golang-migrate/migrate工具，提供一套完整的迁移方案，帮助你解决异构数据库迁移中的关键挑战。读完本文，你将掌握从数据模型转换、迁移脚本编写到全流程自动化的实现方法。
迁移前的核心差异分析
MongoDB作为文档型数据库，采用BSON（Binary JSON）格式存储数据，支持灵活的 schema 设计；而PostgreSQL是关系型数据库，强调数据的结构化和完整性约束。这种本质差异要求我们在迁移前进行细致的模式转换规划。
数据模型对比
MongoDB使用集合（Collection）存储文档（Document），例如用户数据可能存储为：
[
{
"createUser": "deminem",
"pwd": "gogo",
"roles": [
{
"role": "readWrite",
"db": "testMigration"
}
]
}
]
MongoDB用户创建示例 database/mongodb/examples/migrations/001_create_user.up.json
PostgreSQL则使用表（Table）存储记录，相同的用户数据需定义为：
CREATE TABLE users (
user_id integer unique,
name varchar(40),
email varchar(40)
);
PostgreSQL用户表定义 database/postgres/examples/migrations/1085649617_create_users_table.up.sql
迁移工具选型
golang-migrate/migrate是一款基于Go语言的数据库迁移工具，支持20+种数据库类型，通过结构化的迁移脚本实现版本控制。其核心优势在于：
- 支持向上（up）和向下（down）迁移，确保可回滚性
- 提供CLI和Go API两种使用方式，适应不同场景
- 严格的版本控制机制，防止迁移冲突
项目官方迁移规范可参考 MIGRATIONS.md。
迁移实施步骤
1. 环境准备
首先克隆项目仓库：
git clone https://gitcode.com/gh_mirrors/mi/migrate
cd migrate
安装golang-migrate CLI工具：
go install -tags 'postgres mongodb' ./cmd/migrate
2. 数据模型转换
文档到表的映射规则
| MongoDB概念 | PostgreSQL对应 | 转换策略 |
|---|---|---|
| Collection | Table | 一对一映射，使用复数名词作为表名 |
| Document | Row | 文档字段映射为表列 |
| Embedded Document | JSONB Column | 使用PostgreSQL的JSONB类型保留嵌套结构 |
| Array | Array Column | 利用PostgreSQL的数组类型或单独关联表 |
示例转换：用户表设计
MongoDB中的用户文档：
{
"_id": ObjectId("5f8d0d55b6b9d82a7c3a7e1b"),
"username": "johndoe",
"email": "john@example.com",
"address": {
"city": "New York",
"zipcode": "10001"
},
"tags": ["user", "premium"]
}
转换为PostgreSQL表结构：
CREATE TABLE users (
id UUID PRIMARY KEY DEFAULT gen_random_uuid(),
username VARCHAR(50) UNIQUE NOT NULL,
email VARCHAR(100) UNIQUE NOT NULL,
address JSONB NOT NULL,
tags TEXT[] NOT NULL,
created_at TIMESTAMP NOT NULL DEFAULT NOW()
);
3. 迁移脚本编写
目录结构设计
按照golang-migrate规范，创建如下目录结构：
migrations/
├── mongodb/
│ ├── 001_export_data.up.json
│ └── 001_export_data.down.json
└── postgres/
├── 001_create_tables.up.sql
├── 001_create_tables.down.sql
├── 002_import_data.up.sql
└── 002_import_data.down.sql
数据导出脚本
MongoDB导出脚本（001_export_data.up.json）：
[
{
"out": {
"find": "users",
"db": "test",
"project": {
"username": 1,
"email": 1,
"address": 1,
"tags": 1
},
"out": "users_export.json"
}
}
]
表创建脚本
PostgreSQL建表脚本（001_create_tables.up.sql）：
CREATE TABLE IF NOT EXISTS users (
id UUID PRIMARY KEY DEFAULT gen_random_uuid(),
username VARCHAR(50) UNIQUE NOT NULL,
email VARCHAR(100) UNIQUE NOT NULL,
address JSONB NOT NULL,
tags TEXT[] NOT NULL,
created_at TIMESTAMP NOT NULL DEFAULT NOW()
);
-- 创建索引
CREATE INDEX idx_users_email ON users(email);
CREATE INDEX idx_users_tags ON users USING GIN(tags);
数据导入脚本
使用PostgreSQL的COPY命令导入数据（002_import_data.up.sql）：
COPY users (username, email, address, tags)
FROM '/path/to/users_export.json'
WITH (FORMAT JSON);
4. 执行迁移
配置数据库连接
创建.env文件存储连接信息：
MONGODB_URI="mongodb://localhost:27017/test"
POSTGRES_URI="postgres://user:password@localhost:5432/test?sslmode=disable"
执行MongoDB数据导出
migrate -database ${MONGODB_URI} -path migrations/mongodb up 1
执行PostgreSQL迁移
migrate -database ${POSTGRES_URI} -path migrations/postgres up
迁移验证与问题处理
数据一致性校验
编写验证脚本检查记录数匹配：
-- PostgreSQL中执行
SELECT COUNT(*) FROM users;
# MongoDB中执行
mongo ${MONGODB_URI} --eval "db.users.count()"
常见问题解决
1. 数据类型不兼容
问题：MongoDB的ObjectId无法直接映射到PostgreSQL类型。
解决：转换为UUID或字符串存储：
ALTER TABLE users ADD COLUMN mongo_id TEXT UNIQUE;
2. 迁移锁冲突
问题：迁移过程中出现database is locked错误。
解决：清理锁记录：
-- PostgreSQL
DELETE FROM schema_migrations WHERE dirty = true;
-- MongoDB
db.schema_migrations.deleteMany({})
golang-migrate使用 advisory lock 机制确保迁移安全性，具体实现可参考 database/postgres/postgres.go 中的锁管理代码。
迁移后优化建议
性能优化
-
索引优化：根据查询模式创建合适索引，如：
CREATE INDEX idx_users_address_city ON users((address->>'city')); -
分区表：对于大数据量表实施分区：
CREATE TABLE users_partitioned ( LIKE users INCLUDING ALL ) PARTITION BY RANGE (created_at);
业务适配
-
ORM调整：更新应用ORM配置，例如GORM模型定义：
type User struct { ID uuid.UUID `gorm:"type:uuid;primaryKey"` Username string `gorm:"size:50;uniqueIndex"` Email string `gorm:"size:100;uniqueIndex"` Address pgtype.JSONB `gorm:"type:jsonb"` Tags pq.StringArray `gorm:"type:text[]"` CreatedAt time.Time } -
查询适配：将MongoDB聚合查询转换为PostgreSQL CTE或窗口函数。
总结与展望
通过golang-migrate/migrate工具，我们实现了从MongoDB到PostgreSQL的平滑迁移。关键步骤包括：数据模型转换、迁移脚本编写、全流程执行与验证。迁移后的数据不仅保留了原有业务逻辑，还通过PostgreSQL的高级特性获得了更好的事务支持和查询性能。
未来可以进一步探索：
- 基于Debezium的CDC（变更数据捕获）实现增量迁移
- 使用pg_tle扩展添加MongoDB兼容函数
- 结合Docker容器化实现迁移环境一致性
希望本文方案能帮助你顺利完成数据库迁移任务。如有任何问题，欢迎查阅项目文档或提交Issue参与讨论。
请点赞收藏本文，关注作者获取更多数据库迁移实践指南！下期预告：《PostgreSQL JSONB性能调优实战》
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
