使用DATAX同步sqlserver到SQLSERVER

原创 于 2025-09-24 10:54:31 发布 · 319 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqlserver #oracle #数据库 

DataX 同步 SQL Server 到 SQL Server 的详细配置脚本和模板。

基础配置模板
创建一个 JSON 文件，例如 sqlserver2sqlserver.json：

json
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "sqlserverreader",
          "parameter": {
            "username": "sa",
            "password": "your_source_password",
            "column": [
              "ID",
              "Name",
              "Age",
              "Email",
              "CreateTime"
            ],
            "splitPk": "ID",
            "where": "",
            "connection": [
              {
                "table": [
                  "Users"
                ],
                "jdbcUrl": [
                  "jdbc:sqlserver://source-server:1433;DatabaseName=SourceDB"
                ]
              }
            ],
            "fetchSize": 1000
          }
        },
        "writer": {
          "name": "sqlserverwriter",
          "parameter": {
            "username": "sa",
            "password": "your_target_password",
            "column": [
              "ID",
              "Name",
              "Age",
              "Email",
              "CreateTime"
            ],
            "preSql": [
              "TRUNCATE TABLE Users"
            ],
            "postSql": [],
            "batchSize": 1024,
            "connection": [
              {
                "table": "Users",
                "jdbcUrl": "jdbc:sqlserver://target-server:1433;DatabaseName=TargetDB"
              }
            ],
            "writeMode": "insert"
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 3,
        "byte": 10485760
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    }
  }
}
详细参数说明
1. SQL Server Reader 配置详解
json
"reader": {
  "name": "sqlserverreader",
  "parameter": {
    // 源数据库用户名
    "username": "sa",
    
    // 源数据库密码
    "password": "YourSourcePassword123",
    
    // 要同步的列名数组
    "column": ["ID", "Name", "Age", "Email", "CreateTime"],
    
    // 使用通配符同步所有列
    // "column": ["*"],
    
    // 切分键，用于数据分片（提高大表同步速度）
    "splitPk": "ID",
    
    // WHERE条件，用于数据过滤
    "where": "CreateTime > '2024-01-01'",
    
    // 自定义查询SQL（如果使用querySql，则table和column配置失效）
    // "querySql": ["SELECT ID, Name FROM Users WHERE Status = 1"],
    
    "connection": [
      {
        // 要同步的表名（数组，支持多表）
        "table": ["Users"],
        
        // SQL Server JDBC连接字符串
        // 格式: jdbc:sqlserver://host:port;DatabaseName=database_name
        "jdbcUrl": [
          "jdbc:sqlserver://192.168.1.100:1433;DatabaseName=SourceDB"
        ]
      }
    ],
    
    // 每次读取的数据量
    "fetchSize": 1000
  }
}
2. SQL Server Writer 配置详解
json
"writer": {
  "name": "sqlserverwriter",
  "parameter": {
    // 目标数据库用户名
    "username": "sa",
    
    // 目标数据库密码
    "password": "YourTargetPassword123",
    
    // 目标表列名（需要与reader的column顺序一致）
    "column": ["ID", "Name", "Age", "Email", "CreateTime"],
    
    // 同步前执行的SQL
    "preSql": [
      "TRUNCATE TABLE Users"
      // 或者 "DELETE FROM Users WHERE CreateTime < DATEADD(day, -30, GETDATE())"
    ],
    
    // 同步后执行的SQL
    "postSql": [
      "UPDATE SyncLog SET LastSyncTime = GETDATE() WHERE TableName = 'Users'"
    ],
    
    // 批量提交大小
    "batchSize": 1024,
    
    // 写入模式：insert/update
    "writeMode": "insert",
    
    "connection": [
      {
        // 目标表名
        "table": "Users",
        
        // 目标数据库连接
        "jdbcUrl": "jdbc:sqlserver://192.168.1.101:1433;DatabaseName=TargetDB"
      }
    ]
  }
}
不同场景的配置示例
场景1：全量同步（表结构一致）
json
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "sqlserverreader",
          "parameter": {
            "username": "source_user",
            "password": "source_password",
            "column": ["*"],
            "connection": [
              {
                "table": ["Employees"],
                "jdbcUrl": ["jdbc:sqlserver://source-sql:1433;DatabaseName=HR"]
              }
            ],
            "fetchSize": 2000
          }
        },
        "writer": {
          "name": "sqlserverwriter",
          "parameter": {
            "username": "target_user",
            "password": "target_password",
            "column": ["*"],
            "preSql": ["TRUNCATE TABLE Employees"],
            "batchSize": 1000,
            "connection": [
              {
                "table": "Employees",
                "jdbcUrl": "jdbc:sqlserver://target-sql:1433;DatabaseName=HR"
              }
            ],
            "writeMode": "insert"
          }
        }
      }
    ],
    "setting": {
      "speed": {"channel": 4}
    }
  }
}
场景2：增量同步（基于时间戳）
json
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "sqlserverreader",
          "parameter": {
            "username": "source_user",
            "password": "source_password",
            "column": ["ID", "OrderNumber", "Amount", "UpdateTime"],
            "where": "UpdateTime > '2024-01-01 00:00:00'",
            "splitPk": "ID",
            "connection": [
              {
                "table": ["Orders"],
                "jdbcUrl": ["jdbc:sqlserver://source-sql:1433;DatabaseName=Sales"]
              }
            ]
          }
        },
        "writer": {
          "name": "sqlserverwriter",
          "parameter": {
            "username": "target_user",
            "password": "target_password",
            "column": ["ID", "OrderNumber", "Amount", "UpdateTime"],
            "writeMode": "insert", // 或者使用merge
            "batchSize": 500,
            "connection": [
              {
                "table": "Orders",
                "jdbcUrl": "jdbc:sqlserver://target-sql:1433;DatabaseName=Sales"
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {"channel": 2}
    }
  }
}
场景3：复杂查询同步
json
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "sqlserverreader",
          "parameter": {
            "username": "source_user",
            "password": "source_password",
            // 使用querySql进行复杂查询
            "querySql": [
              "SELECT " +
              "c.CustomerID, " +
              "c.CustomerName, " +
              "o.OrderID, " +
              "o.OrderDate, " +
              "SUM(oi.Quantity * oi.UnitPrice) as TotalAmount " +
              "FROM Customers c " +
              "INNER JOIN Orders o ON c.CustomerID = o.CustomerID " +
              "INNER JOIN OrderItems oi ON o.OrderID = oi.OrderID " +
              "WHERE o.OrderDate >= DATEADD(month, -12, GETDATE()) " +
              "GROUP BY c.CustomerID, c.CustomerName, o.OrderID, o.OrderDate"
            ],
            "connection": [
              {
                "jdbcUrl": ["jdbc:sqlserver://source-sql:1433;DatabaseName=Sales"]
              }
            ]
          }
        },
        "writer": {
          "name": "sqlserverwriter",
          "parameter": {
            "username": "target_user",
            "password": "target_password",
            "column": ["CustomerID", "CustomerName", "OrderID", "OrderDate", "TotalAmount"],
            "preSql": ["TRUNCATE TABLE CustomerOrderSummary"],
            "connection": [
              {
                "table": "CustomerOrderSummary",
                "jdbcUrl": "jdbc:sqlserver://target-sql:1433;DatabaseName=Reporting"
              }
            ],
            "writeMode": "insert"
          }
        }
      }
    ]
  }
}
场景4：多表同步
json
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "sqlserverreader",
          "parameter": {
            "username": "source_user",
            "password": "source_password",
            "connection": [
              {
                "table": ["Customers", "Products", "Orders"],
                "jdbcUrl": ["jdbc:sqlserver://source-sql:1433;DatabaseName=Business"]
              }
            ]
          }
        },
        "writer": {
          "name": "sqlserverwriter",
          "parameter": {
            "username": "target_user",
            "password": "target_password",
            "connection": [
              {
                "table": "Customers",
                "jdbcUrl": "jdbc:sqlserver://target-sql:1433;DatabaseName=Backup"
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {"channel": 3}
    }
  }
}

自动化增量同步脚本
bash
#!/bin/bash
# sqlserver_incremental_sync.sh

# 配置变量
SOURCE_USER="source_user"
SOURCE_PASSWORD="source_password"
TARGET_USER="target_user"
TARGET_PASSWORD="target_password"
SOURCE_URL="jdbc:sqlserver://source-sql:1433;DatabaseName=SourceDB"
TARGET_URL="jdbc:sqlserver://target-sql:1433;DatabaseName=TargetDB"
TABLE_NAME="SalesData"

# 获取上次同步时间（从目标数据库的状态表）
LAST_SYNC=$(sqlcmd -S target-sql -d TargetDB -U $TARGET_USER -P $TARGET_PASSWORD -h -1 -Q "
SET NOCOUNT ON;
SELECT ISNULL(CONVERT(VARCHAR, MAX(LastSyncTime), 120), '1970-01-01 00:00:00') 
FROM SyncStatus WHERE TableName = '$TABLE_NAME'
")

# 清理输出
LAST_SYNC=$(echo $LAST_SYNC | tr -d '\r\n' | sed 's/^ *//;s/ *$//')

# 当前时间
CURRENT_TIME=$(date +"%Y-%m-%d %H:%M:%S")

# 生成DataX配置
cat > /tmp/sqlserver_incremental_${TABLE_NAME}.json <<EOF
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "sqlserverreader",
          "parameter": {
            "username": "$SOURCE_USER",
            "password": "$SOURCE_PASSWORD",
            "column": ["*"],
            "where": "UpdateTime > '$LAST_SYNC' AND UpdateTime <= GETDATE()",
            "connection": [
              {
                "table": ["$TABLE_NAME"],
                "jdbcUrl": ["$SOURCE_URL"]
              }
            ]
          }
        },
        "writer": {
          "name": "sqlserverwriter",
          "parameter": {
            "username": "$TARGET_USER",
            "password": "$TARGET_PASSWORD",
            "column": ["*"],
            "writeMode": "insert",
            "batchSize": 1000,
            "connection": [
              {
                "table": "$TABLE_NAME",
                "jdbcUrl": "$TARGET_URL"
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {"channel": 3}
    }
  }
}
EOF

# 执行同步
echo "开始同步表: $TABLE_NAME, 时间范围: $LAST_SYNC 至 $CURRENT_TIME"
python /opt/datax/bin/datax.py /tmp/sqlserver_incremental_${TABLE_NAME}.json

# 更新同步状态
if [ $? -eq 0 ]; then
    sqlcmd -S target-sql -d TargetDB -U $TARGET_USER -P $TARGET_PASSWORD -Q "
    MERGE SyncStatus AS target
    USING (SELECT '$TABLE_NAME' AS TableName) AS source
    ON (target.TableName = source.TableName)
    WHEN MATCHED THEN
        UPDATE SET LastSyncTime = '$CURRENT_TIME'
    WHEN NOT MATCHED THEN
        INSERT (TableName, LastSyncTime) 
        VALUES ('$TABLE_NAME', '$CURRENT_TIME');"
    echo "同步完成: $TABLE_NAME"
else
    echo "同步失败: $TABLE_NAME"
    exit 1
fi

Windows批处理脚本
batch
@echo off
REM sqlserver_sync.bat

set SOURCE_USER=sa
set SOURCE_PASSWORD=source_password
set TARGET_USER=sa
set TARGET_PASSWORD=target_password
set TABLE_NAME=Users

REM 生成DataX配置
echo {
echo   "job": {
echo     "content": [
echo       {
echo         "reader": {
echo           "name": "sqlserverreader",
echo           "parameter": {
echo             "username": "%SOURCE_USER%",
echo             "password": "%SOURCE_PASSWORD%",
echo             "column": ["*"],
echo             "connection": [
echo               {
echo                 "table": ["%TABLE_NAME%"],
echo                 "jdbcUrl": ["jdbc:sqlserver://source-sql:1433;DatabaseName=SourceDB"]
echo               }
echo             ]
echo           }
echo         },
echo         "writer": {
echo           "name": "sqlserverwriter",
echo           "parameter": {
echo             "username": "%TARGET_USER%",
echo             "password": "%TARGET_PASSWORD%",
echo             "column": ["*"],
echo             "preSql": ["TRUNCATE TABLE %TABLE_NAME%"],
echo             "connection": [
echo               {
echo                 "table": "%TABLE_NAME%",
echo                 "jdbcUrl": "jdbc:sqlserver://target-sql:1433;DatabaseName=TargetDB"
echo               }
echo             ],
echo             "writeMode": "insert"
echo           }
echo         }
echo       }
echo     ]
echo   }
echo } > sync_config.json

REM 执行同步
python C:\datax\bin\datax.py sync_config.json

if %errorlevel% equ 0 (
    echo 同步成功!
) else (
    echo 同步失败!
    exit /b 1
)

重要注意事项
SQL Server驱动：确保 DataX 的 plugin/reader/sqlserverreader 和 plugin/writer/sqlserverwriter 
目录中存在正确的 JDBC 驱动（如 mssql-jdbc.jar）

身份验证模式：
Windows身份验证：需要在连接字符串中配置 integratedSecurity=true
SQL Server身份验证：使用用户名密码
连接字符串格式：

javascript
// 标准格式
"jdbc:sqlserver://host:port;DatabaseName=db_name"

// 使用实例名
"jdbc:sqlserver://host\\instance_name:port;DatabaseName=db_name"

// Windows身份验证
"jdbc:sqlserver://host:port;DatabaseName=db_name;integratedSecurity=true"

性能优化：
大表同步配置合适的 splitPk
调整 fetchSize 和 batchSize
根据网络和服务器性能调整 channel 数量
数据类型兼容性：确保源表和目标表的数据类型兼容

执行命令
bash
# 执行同步任务
python /opt/datax/bin/datax.py /path/to/sqlserver2sqlserver.json

# 查看详细执行日志
python /opt/datax/bin/datax.py /path/to/sqlserver2sqlserver.json > sync.log 2>&1

# 后台执行
nohup python /opt/datax/bin/datax.py /path/to/sqlserver2sqlserver.json > sync.log 2>&1 &
这些模板涵盖了 SQL Server 到 SQL Server 同步的主要场景，您可以根据实际需求进行调整。
特别要注意连接字符串的格式和身份验证方式的配置。

高可用数据同步方案-SqlServer迁移Mysql实战
一年e度的夏天的专栏
07-04 5652
高可用数据同步方案-SqlServer迁移Mysql实战简介随着业务量的上升，以前的架构已经不满足业务的发展，数据作为业务中最重要的一环，需要有更好的架构作为支撑。目前我司有sql server转mysql的需求，所以结合当前业务，我挑选了阿里云开源的一个很好用的同步工具DataXDataX介绍 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、
DataX实现多表的增量同步postgresql到sqlserver
aryyya的博客
02-10 5503
开发需求是异构数据库之间同步数据，从Postgresql同步到sqlsersver中，利用ETL工具（kettle/DataX）进行同步
DataX和SQLServer的导入导出案例
优快云2022博客之星Top39；华为云博主7&，优快云、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
06-15 1923
DataX和SQLServer的导入导出案例
使用Datax 完整迁移sqlserver至mysql，附自动化脚本和日志分析
qq_40267975的博客
02-03 2330
本次数据迁移涉及表达到亿级数据，只是时间上不是很友好，如果服务器允许多开线程可以提高些许速度。
DataX简介、部署、原理和使用介绍
热门推荐
wt334502157的博客
02-17 3万+
​ DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
【ETL工具】Datax-ETL-SqlServerToHDFS
康师傅没有眼泪
10-27 4658
DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
datax 离线同步SqlServer 到Mysql
flye的专栏
06-27 2062
DataX 实战 sqlserver to mysql
dataX同步SQLserver到MySQL数据
goodlook0123的专栏
06-28 2164
DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
2.Datax数据同步之Windows下，mysql和sqlserver之间的自定义sql文数据同步
qq_40765784的博客
03-12 1994
上一篇文章实现了不同的mysql数据库之间的数据同步，在此基础上本篇将实现mysql和sqlserver之间的自定义sql文数据同步JDK(1.8以上，推荐1.8)Python(2或3都可以)Datax插件下载mysql5.7。
使用Datax同步mysql,oracle,sqlserver数据到Hbase
eyeofeagle的博客
08-11 2629
文章目录1，Datax下载使用下载二进制包使用编写json参数，执行测试任务2，从关系型数据库，抽到Hbase 1，Datax下载使用 阿里巴巴开源-数据迁移工具： DataX简介-架构设计： https://github.com/alibaba/DataX/blob/master/introduction.md 用户指南： https://github.com/alibaba/DataX/blob/master/userGuid.md 下载二进制包使用 下载，并解压到linux服务器某目录：http:
MongoDB/SQL Server增量同步方案
12-14
MongoDB/SQL Server增量同步方案是一项复杂而关键的任务，尤其考虑到SQL Server的特性，目前市场上缺乏成熟的开源解决方案。本文探讨了三种可行的同步方法：基于时间戳更新、使用触发器和利用SQL Server的CDC...
C#+datax实现sql server数据同步到redis
赵玉的专栏
03-13 890
3. **编写C#程序执行DataX任务：** 在C#中调用DataX命令行执行同步任务。2. **创建DataX任务配置文件：** 创建一个DataX任务配置文件，定义SQL Server和Redis的连接信息以及需要同步的表和字段信息。4. **运行C#程序：** 编译并运行C#程序，它将执行DataX任务，将SQL Server中的数据同步到Redis。1. **安装DataX：** 确保你已经安装了DataX。这只是一个简单的示例，实际情况可能需要根据数据的特性和复杂性进行更详细的配置和调整。
DataX数据迁移入门从SQL Server至MySQL
PowehiCoding的博客
07-31 1189
DataX是阿里巴巴开源的离线数据同步工具，实现了包括主流RDBMS数据库、NoSQL、大数据计算系统在内的多种异构数据源之间高效进行数据同步的功能。本文主要讲解使用DataX迁移数据，从SQL Server 迁至 Mysql，文章通俗易懂，适合小白和有经验的猿友。
记录跨度3年的SqlServer数据同步项目分析-基于datax和触发器
纸上得来终觉浅，绝知此事要躬行
06-27 1157
在手上目前有个Sqlserver数据同步的项目终于接近尾声了，投入过程两个人，历时跨度3年（2022-2024）。最开始决策采用阿里Datax实现数据同步+触发器编程的方式来实现。由于库表结构有严格的主外键，所以ER关系网络相当复杂，需要将这些任务进行分组处理。期间几易方案，执行方案中途都会发现问题。任务拆分几乎为零，想起什么写什么，导致项目几近放弃。 该项目大致经历了四个阶段。所以最终的结论是：数据同步一定要做好数据规范再行动，尽可能地发挥团队力量集思广益。
大数据同步工具之DataX
积跬步，至千里。
05-15 2036
DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
DataX-在Windows上实现postgresql同步数据到mysql
BADAO_LIUMANG_QIZHI的博客
04-27 2305
在上面实现sqlserver到mysql的数据同步之后，如果要实现postgresql到mysql数据同步流程一样。以PostGis中的OGC元数据表中的保存坐标系统信息的spatial_ref_sys表为例。在mysql中新建同样结构的表，将postgresql中这个表的数据同步到mysql的表中。
SqlServer 到 TiDB（DATAX）
TiDB 社区干货传送门
11-11 615
作者： Billmay表妹 原文来源： https://tidb.net/blog/51e2f4da ...
用datax同步sqlserver里的数据到elasticsearch
wobupeiai的博客
12-12 4386
1.如果在github下载datax,里面没有elasticsearchwriter这个插件。所以首先git clone https://github.com/alibaba/DataX.git 2.由于下的检出的是源码，有些模块没有开发完，所以直接编译肯定会出错，要打开pom.xml把除了sqlserver和elasticsearch其他的module全部删除，然后执行命令mvn -u cle...
使用datax将SQLserver的库表同步到达梦数据库json
最新发布
08-16
要使用 DataX 将 SQL Server 数据库表同步到达梦数据库（DMDBMS），需要完成以下几个步骤，包括环境准备、插件支持确认、JSON 配置文件编写等关键环节。 ### 配置准备 1. **确保 JDK 环境正常运行** DataX 依赖...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值