Streamset（十一）实时同步SQL Server2008R2数据

最新推荐文章于 2023-03-21 21:01:04 发布

芦苇_

最新推荐文章于 2023-03-21 21:01:04 发布

阅读量1.7k

点赞数

分类专栏： Streamsets

本文链接：https://blog.youkuaiyun.com/maomaosi2009/article/details/108293295

版权

本文详细介绍了如何使用Streamsets实时同步SQL Server2008R2数据，包括开启SQL Server代理，启用CDC，创建pipeline使用SQL Server CDC Client，以及验证和实现实时同步到MySQL的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、说明

安装好SQL Server2008R2，安装好streamsets-3.17.0，测试实时同步SQL Server数据。

2、配置sqlserver

监听mysql binlog需要先开启binlog机制，sqlserver则需要配置对数据库启用cdc，并对数据表启用cdc机制。

2.1、开启SQL Server代理

除了sqlserver自身服务正常启动运行外还需要启动SQL Server代理服务

2.1、创建数据库

CREATE DATABASE yigou;

2.2、创建数据表

USE yigou 
GO
CREATE TABLE [dbo].[test] (
  [id] int  IDENTITY(1,1) NOT NULL,
  [name] varchar(50) COLLATE Chinese_PRC_CI_AS  NOT NULL,
  [address] varchar(50) COLLATE Chinese_PRC_CI_AS  NULL,
  CONSTRAINT [PK_cdc_test] PRIMARY KEY CLUSTERED ([id])
WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON)  
ON [PRIMARY]
)  
ON [PRIMARY]
GO
ALTER TABLE [dbo].[test] SET (LOCK_ESCALATION = TABLE)

2.3、对数据库启用CDC

USE yigou 
GO
EXECUTE sys.sp_cdc_enable_db;
GO

执行完成后会自动在yigou数据库的系统表中生成6张表

也可以使用如下命令查看哪些数据库启用了CDC

USE yigou 
GO 
select * from sys.databases where is_cdc_enabled = 1;
GO

注：对数据库禁止CDC命令如下

USE yigou
GO
EXECUTE sys.sp_cdc_disable_db;
GO

2.5、对数据表启用CDC

USE yigou
GO
EXEC sys.sp_c

最低0.47元/天解锁文章