pgloader迁移mysql数据到postgressql

原创于 2025-11-17 16:07:49 发布 · 330 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #数据库 #postgresql

使用pgloader作为迁移工具，迁移mysql数据到pgsql。
这里我推荐使用pgloader docker 方式迁移数据。

拉取pgloader镜像

docker pull dimitri/pgloader

准备load文件，mysql_to_pgsql.load

LOAD DATABASE
    FROM mysql://report:xxxxxxxxx@mysql-host:3306/db_name
    INTO postgresql://report:xxxxxxxxxx@pgsql-host:5432/db_name
    INCLUDING ONLY TABLE NAMES MATCHING 'table_name'
    WITH data only,create no tables,create no indexes,reset sequences,truncate
    SET work_mem to '50MB', maintenance_work_mem to '256MB'  -- 优化导入性能
    BEFORE LOAD DO
        $$ SET search_path TO public; $$;

具体的迁移以及转换规则可以根据pgload的文档中，根据自己的需求添加或更改。这里不再赘述，参考文档

https://pgloader.readthedocs.io/en/latest/ref/mysql.html

执行迁移命令

docker run --rm --name pgloader  -v /data/pgloader/mysql_to_pgsql.load:/pgloader/loadfile.load   dimitri/pgloader  pgloader /pgloader/loadfile.load

注意事项
在迁移某些数据量大的表时出现了，pgloader：Heap exhausted ，game over的问题。查询资料，调整各种loadfiel中的迁移参数，没有起到作用。如调整workers，rows per range，batch_size等。查询资料后，了解到是pgloader 垃圾回收器的问题，有一篇文章中提到了