<think>我们参考用户的需求：在Windows系统下
使用Debezium将
SQL Server某表的数据变动同步到另一个
SQL Server数据库相同表。
根据引用内容，
Debezium可以捕获
SQL Server的数据变更（insert, update, delete），并通过Kafka传递变更事件。但用户的目标是同步到另一个
SQL Server数据库，因此我们需要一个消费者来将变更应用到目标
数据库。
步骤概述：
1. 准备环境：安装Kafka、Zookeeper、
Debezium SQL Server连接器。
2. 配置
Debezium SQL Server连接器，捕获源
数据库的变更。
3. 配置Kafka Connect JDBC连接器（或其他同步工具）将变更事件应用到目标
SQL Server数据库。
具体步骤：
第一步：环境准备（Windows系统）
- 下载并安装Java（JDK 8或以上）
- 下载Kafka（包含Zookeeper）：https
://kafka.apache.org/downloads
- 下载
Debezium SQL Server连接器插件：https
://repo1.maven.org/maven2/io/
debezium/
debezium-connector-
sqlserver/
选择最新版本（例如2.3.4.Final），下载
debezium-connector-
sqlserver-2.3.4.Final-plugin.tar.gz，解压到Kafka的插件目录（如kafka_2.13-3.5.0\plugins）
- 确保
SQL Server数据库已启用
CDC（变更数据捕获）功能（参考引用[4]中关于
SQL Server变更捕获的方法，
Debezium要求
使用CDC）
第二步：配置源
数据库（
SQL Server）
- 启用
数据库CDC（需要sysadmin权限）：
```
sql
-- 在源
数据库上启用
CDC
EXEC sys.sp_
cdc_enable_db;
```
- 为要同步的表启用
CDC：
```
sql
-- 启用表的
CDC，替换'schema_name'和'table_name'
EXEC sys.sp_
cdc_enable_table
@source_schema = N'schema_name',
@source_name = N'table_name',
@role_name = NULL; -- 可以指定一个角色来限制访问，或者为NULL
```
第三步：启动Kafka和Zookeeper
- 在Kafka目录下，启动Zookeeper（新终端）：
```
.\bin\windows\zookeeper-
server-start.bat .\config\zookeeper.properties
```
- 启动Kafka（另一个终端）：
```
.\bin\windows\kafka-
server-start.bat .\config\
server.properties
```
第四步：配置并启动
Debezium SQL Server连接器
- 创建一个配置文件（例如
sqlserver-source-connector.json），内容如下：
```json
{
"name"
: "
sqlserver-connector",
"config"
: {
"connector.class"
: "io.
debezium.connector.
sqlserver.
SqlServerConnector",
"database.hostname"
: "localhost",
"database.port"
: "1433",
"database.user"
: "sa",
"database.password"
: "your_password",
"database.dbname"
: "your_database",
"database.
server.name"
: "
server1", // 用于命名Kafka主题的前缀
"table.include.list"
: "schema_name.table_name", // 要捕获的表
"database.history.kafka.bootstrap.
servers"
: "localhost
:9092",
"database.history.kafka.topic"
: "dbhistory.
server1",
"snapshot.mode"
: "initial" // 首次启动时执行快照
}
}
```
-
使用Kafka Connect REST API启动连接器（在另一个终端）：
```
.\bin\windows\connect-standalone.bat .\config\connect-standalone.properties .\config\
sqlserver-source-connector.json
```
注意：connect-standalone.properties中需要
设置插件路径，例如：
```
plugin.path=libs\plugins
```
第五步：配置目标
数据库连接器（JDBC Sink Connector）
- 下载Kafka Connect JDBC连接器（Confluent提供）：https
://www.confluent.io/hub/confluentinc/kafka-connect-jdbc
将下载的zip解压到Kafka的插件目录（同上）。
- 创建JDBC Sink连接器配置文件（例如jdbc-sink-connector.json）：
```json
{
"name"
: "jdbc-sink-connector",
"config"
: {
"connector.class"
: "io.confluent.connect.jdbc.JdbcSinkConnector",
"tasks.max"
: "1",
"connection.url"
: "jdbc
:sqlserver://localhost
:1433;databaseName=target_db;",
"connection.user"
: "sa",
"connection.password"
: "target_password",
"topics"
: "
server1.schema_name.table_name", // 源连接器产生的主题，格式：<database.
server.name>.<schema>.<table>
"auto.create"
: "false", // 目标表已存在，不需要自动创建
"auto.evolve"
: "false", // 不自动演化
表结构
"insert.mode"
: "upsert", //
使用upsert模式（根据主键更新或插入）
"pk.fields"
: "id", // 主键字段名（根据实际情况修改）
"pk.mode"
: "record_key", //
使用记录中的key作为主键
"table.name.format"
: "schema_name.table_name" // 目标表名
}
}
```
- 启动JDBC Sink连接器（同样
使用connect-standalone，或者
使用分布式模式）：
```
.\bin\windows\connect-standalone.bat .\config\connect-standalone.properties .\config\jdbc-sink-connector.json
```
注意：如果同时启动两个连接器，可以写在一个命令里，但通常独立运行或
使用分布式模式更合适。
第六步：验证
- 在源表进行增删改操作，观察目标表是否同步。
注意事项：
1. 确保源
数据库的
CDC功能正常（引用[4]中提到了
SQL Server变更捕获的多种方法，
Debezium使用CDC）。
2. 请根据实际修改
数据库连接信息、表名等。
3. 目标表必须存在且结构与源表一致。
4. 如果需要初始化历史数据，
Debezium连接器的`snapshot.mode`
设置为`initial`会先做全量快照（注意：这可能会产生大量数据）。
5. 在Windows下路径
使用反斜杠，注意配置文件中的路径
设置。
引用[1]、[3]、[5]说明了
Debezium捕获
SQL Server变更的能力，引用[4]提供了
SQL Server变更捕获的配置技巧（如
CDC配置），引用[2]则提到了新旧版本格式对比，这里我们
使用最新版本即可。
如果遇到问题，检查连接器的日志，常见的错误包括：
-
数据库连接失败（用户名密码错误、网络不通）
- 权限不足（启用
CDC需要sysadmin角色）
- 表没有启用
CDC
- 插件路径配置错误
以上就是在Windows系统下
使用Debezium实现
SQL Server表数据变更同步到另一个
SQL Server数据库的步骤。
§§相关问题§§
1. 如何验证
Debezium捕获的
SQL Server变更事件是否正确？
2. 如果目标
数据库表结构需要自动创建，如何配置JDBC Sink连接器？
3.
Debezium同步过程中出现主键冲突如何解决？
</think>### 在Windows系统下
使用Debezium实现
SQL Server数据实时同步的步骤
#### 1. **环境准备**
- **安装Java**：确保JDK 11+（推荐OpenJDK或Oracle JDK）[^3]
- **安装Kafka**：下载并解压[Apache Kafka](https
://kafka.apache.org/downloads)，版本需兼容
Debezium（如Kafka 3.5+）
- **下载
Debezium SQL Server连接器**：
- 获取插件包：`
debezium-connector-
sqlserver-X.X.X.Final-plugin.tar.gz` [^3]
- 解压到Kafka的`plugins`目录（例如：`C
:\kafka\plugins`）[^3]
#### 2. **源
数据库配置**
- **启用
CDC（变更数据捕获）**：
```
sql
-- 启用
数据库级
CDC
EXEC sys.sp_
cdc_enable_db;
-- 启用表级
CDC（示例表：dbo.orders）
EXEC sys.sp_
cdc_enable_table
@source_schema = N'dbo',
@source_name = N'orders',
@role_name = NULL; -- 无访问角色限制[^4]
```
- **验证
CDC状态**：
```
sql
SELECT name, is_
cdc_enabled FROM sys.databases WHERE name = 'YourDB';
SELECT OBJECT_NAME(object_id) FROM
cdc.change_tables;
```
#### 3. **
Debezium连接器配置**
创建配置文件`
sqlserver-source.json`：
```json
{
"name"
: "
sqlserver-source-connector",
"config"
: {
"connector.class"
: "io.
debezium.connector.
sqlserver.
SqlServerConnector",
"database.hostname"
: "localhost",
"database.port"
: "1433",
"database.user"
: "sa",
"database.password"
: "YourPassword",
"database.dbname"
: "SourceDB",
"database.
server.name"
: "
sqlserver_source",
"table.include.list"
: "dbo.orders", // 需同步的表
"database.history.kafka.bootstrap.
servers"
: "localhost
:9092",
"snapshot.mode"
: "initial", // 初始全量快照
"tombstones.on.delete"
: "true" // 处理删除操作
}
}
```
#### 4. **启动同步服务**
- **启动Zookeeper**：
```powershell
.\bin\windows\zookeeper-
server-start.bat .\config\zookeeper.properties
```
- **启动Kafka**：
```powershell
.\bin\windows\kafka-
server-start.bat .\config\
server.properties
```
- **注册
Debezium连接器**：
```powershell
.\bin\windows\connect-standalone.bat .\config\connect-standalone.properties .\config\
sqlserver-source.json
```
#### 5. **目标
数据库写入**
使用**Kafka JDBC Sink连接器**同步到目标
SQL Server：
```json
{
"name"
: "jdbc-sink-connector",
"config"
: {
"connector.class"
: "io.confluent.connect.jdbc.JdbcSinkConnector",
"connection.url"
: "jdbc
:sqlserver://localhost
:1433;databaseName=TargetDB",
"connection.user"
: "sa",
"connection.password"
: "TargetPassword",
"topics"
: "
sqlserver_source.dbo.orders", // Kafka主题名
"auto.create"
: "false", // 禁用自动建表
"insert.mode"
: "upsert", // 合并插入/更新
"pk.mode"
: "record_key", // 主键模式
"pk.fields"
: "order_id" // 目标表主键
}
}
```
#### 6. **验证同步**
- **检查Kafka主题**：
```powershell
.\bin\windows\kafka-console-consumer.bat --bootstrap-
server localhost
:9092 --topic
sqlserver_source.dbo.orders
```
- **监控变更日志**：
```json
// 示例输出（更新操作）
{
"before"
: {"order_id"
:101, "status"
:"pending"},
"after"
: {"order_id"
:101, "status"
:"shipped"},
"op"
:"u", // u=update, c=create, d=delete
"ts_ms"
: 1678901234567
}
[^5]
```
### 关键注意事项
1. **权限要求**：
- 源库账号需拥有`db_owner`权限以启用
CDC[^4]
- 目标库账号需有表的增删改权限
2. **性能优化**：（参考引用[4]）
-
设置`"snapshot.fetch.size"
: 1024`控制批量拉取量
- 目标库建议启用Service Broker异步写入
3. **错误处理**：
- 检查
Debezium日志：`logs/connect.log`
- 验证
CDC状态：`SELECT * FROM
cdc.lsn_time_mapping`
> **提示**：若需同步多表，在`table.include.list`中
使用逗号分隔（如`"dbo.table1,dbo.table2"`）。
本文介绍如何使用开源工具Debezium来重新设置SQL Server数据库的CDC，包括安装连接器、配置、启动、创建Kafka主题以及监控表结构变更事件，为实时数据集成和分析提供支持。
订阅专栏 解锁全文
扫一扫
956
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
