Debezium嵌入式连接postgresql封装服务

环境：JDK8，Debezium1.94，postgresql12

1.项目结构：

2.依赖：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <parent>
        <artifactId>spring-boot-starter-parent</artifactId>
        <groupId>org.springframework.boot</groupId>
        <version>2.7.18</version>
    </parent>

    <groupId>com.linging</groupId>
    <artifactId>springboot-debezium-server</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <debezium.version>1.9.4.Final</debezium.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>io.debezium</groupId>
            <artifactId>debezium-embedded</artifactId>
            <version>${debezium.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-reload4j</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>io.debezium</groupId>
            <artifactId>debezium-connector-postgres</artifactId>
            <version>${debezium.version}</version>
        </dependency>
        <dependency>
            <groupId>io.debezium</groupId>
            <artifactId>debezium-api</artifactId>
            <version>${debezium.version}</version>
        </dependency>
        
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
        </dependency>

        <dependency>
            <groupId>com.alibaba.fastjson2</groupId>
            <artifactId>fastjson2</artifactId>
            <version>2.0.43</version>
        </dependency>

    </dependencies>

</project>

3.application.properties

# Debezium Configuration
#连接器基本信息
#指定 Debezium 连接器的名称,唯一标识，用于在 Kafka Connect 中区分不同的连接器。
debezium.name=my-postgres-connector
#指定连接器的类名，这里是连接postgresql
debezium.connector.class=io.debezium.connector.postgresql.PostgresConnector

#偏移量相关
#指定偏移量存储的实现类，这里使用的是文件存储，将偏移量存储在本地文件中。
debezium.offset.storage=org.apache.kafka.connect.storage.FileOffsetBackingStore
#处理数据的偏移量存储路径
debezium.offset.storage.file.filename=C:\\Users\\Linging\\Desktop\\debezinum\\offsets_0.dat
#处理数据的偏移量提交时间间隔，单位毫秒，设置为 0 表示每次处理完一批记录后立即提交偏移量，这可以减少数据丢失的风险，但会增加系统开销
#以上一次提交时间开始计算
debezium.offset.flush.interval.ms=10000

#数据库连接信息
debezium.database.hostname=192.168.159.103
debezium.database.port=15432
debezium.database.user=postgres
debezium.database.password=123456
#捕获变更的数据库名称
debezium.database.dbname=db_test
#指定逻辑服务器的唯一标识，用于区分不同的数据库实例
debezium.database.server.id=postgresql_0
#指定逻辑服务器的名称，用于在 Kafka 主题中区分不同的数据库实例
debezium.database.server.name=customer_postgres_db_server

#数据库历史记录
#指定数据库模式记录的实现类，这里使用的是文件存储，将数据库历史记录存储在本地文件中
debezium.database.history=io.debezium.relational.history.FileDatabaseHistory
#指定数据库模式记录文件的路径
debezium.database.history.file.filename=C:\\Users\\Linging\\Desktop\\debezinum\\history_0.dat

#表和字段过滤
#debezium.table.include.list=public.user
#debezium.column.include.list=public.user.id,public.user.name

#其他配置
#指定是否自动创建 PostgreSQL 的逻辑复制槽，设置为 filtered 表示只捕获配置中指定的表和字段的变更
debezium.publication.autocreate.mode=filtered
#指定 PostgreSQL 的逻辑复制插件名称，pgoutput是 PostgreSQL 的逻辑复制插件名称，用于捕获变更
debezium.plugin.name=pgoutput
#指定逻辑复制槽的名称
debezium.slot.name=dbz_customerdb_listener
#不执行初始快照，直接捕获变更数据，取值：never、initial、when_needed
debezium.snapshot.mode=never
#批量提交条数
debezium.max.batch.size=100

logging.level.root=INFO
logging.level.io.debezium.postgres.BinlogReader=INFO
logging.level.io.davidarhcanjo=DEBUG
logging.level.io.debezium=INFO

4.DebeziumConnectorConfig类

@Configuration
public class DebeziumConnectorConfig {
   
   

    @Bean
    public Properties customerConnector(Environment env) {
   
   
        Properties props = new Properties();
        props.setProperty("name", env.getProperty("debezium.name"));
        props.setProperty("connector.class", env.getProperty("debezium.connector.class"));
        props.setProperty("offset.storage", env.getProperty("debezium.offset.storage"));
        props.setProperty("offset.storage.file.filename", env.getProperty("debezium.offset.storage.file.filename"));
        props.setProperty("offset.flush.interval.ms", env.getProperty("debezium.offset.flush.interval.ms"));
        props.setProperty("database.hostname", env.getProperty("debezium.database.hostname"));
        props.setProperty("database.port", env.getProperty("debezium.database.port"));
        props.setProperty("database.user", env.getProperty("debezium.database.user"));
        props.setProperty("database.password", env.getProperty("debezium.database.password"));
        props.setProperty("database.dbname", env.getProperty("debezium.database.dbname"));
        props.setProperty("database.server.id", env.getProperty("debezium.database.server.id"));
        props.setProperty("database.server.name", env.getProperty("debezium.database.server.name"));
        props.setProperty("database.history", env.getProperty("debezium.database.history"));
        props.setProperty("database.history.file.filename", env.getProperty("debezium.database.history.file.filename"));
        props.setProperty("table.include.list", TableEnum<