Flink SQL自定义TableSource读取Kudu数据

本文介绍如何在Flink 1.9中自定义Kudu数据源以实现批量数据读取。由于Flink官方未提供Kudu connector,通过继承InputFormatTableSource并实现getInputFormat等方法,构建了KuduTableSource类。同时,详细解析了KuduInputFormat的实现,包括open、reachedEnd、nextRecord和createInputSplits等关键方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文基于Flink1.9,之前文章基于Flink1.6。在Flink的官方文档中提供了很多connector用于连接外部系统数据源。如果提供的connector不能满足需要,还可以通过自定义方式定义读取外部数据源的逻辑。本文的背景就是使用SQL查询批量数据,但是批量数据存储在kudu中,由于没有提供connector所以需要自定义读取数据逻辑。

官方文档中给出了自定义批量数据读取的实现方式:

然而实际API却显示该类已经不推荐使用了:

于是使用InputFormatTableSource抽象类来实现此功能,我们继承该类

package com.xxx.bigdata;

import org.apache.flink.api.common.io.InputFormat;
import org.apache.flink.table.api.DataTypes;
import org.apache.flink.table.api.TableSchema;
import org.apache.flink.table.sources.InputFormatTableSource;
import org.apache.flink.table.types.DataType;

public class KuduTableSource extends InputFormatTableSource {


    @Override
    public InputFormat getInputFormat() {
        return new KuduInputFormat();
    }

    @Override
    public TableSchema getTableSchema() {
        String[] names = {"info"};
        DataType[] dataTypes = {DataTypes.STRING()};
        TableSchema tableSchema = TableSchema.builder().fields(names, dataTypes).build();
        return tableSchema;
    }

    @Override
    public DataType getProducedDataType() {
        return getTableSchema().getFieldDataTypes()[0];
    }
}

上面的代码中,getTableSchema是定义Table的schema描述,getProducedDataType定义数据输出类型,而父类InputFormatTableSource里面的一个核心抽象方法是:

public abstract InputFormat<T, ?> getInputFormat();

该方法的功能就是读数的逻辑,我们需要重写此方法。

package com.xxx.bigdata;

import org.apache.flink.api.common.io.GenericInputFormat;
import org.apache.flink.core.io.GenericInputSplit;
import org.apache.kudu.client.*;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.StringJoiner;

public class KuduInputFormat extends GenericInputFormat<String> {
    private static Logger LOG = LoggerFactory.getLogger(KuduInputFormat.class);

    private KuduClient client;
    private KuduTable table;
    private KuduScanner scanner;
    private static final String IMPALA_TABLE_PREFIX = "impala::";
    private static final String KUDU_MASTER_ADDRESS = "192.168.1.1:7051";
    private String tableName = "class";
    List<String> columnsList = new ArrayList<>();
    private RowResultIterator iterator;

    @Override
    public void open(GenericInputSplit split) throws IOException {
        super.open(split);
        client = new KuduClient.KuduClientBuilder(KUDU_MASTER_ADDRESS).build();
        table = client.openTable(IMPALA_TABLE_PREFIX + tableName);
        columnsList.add("id");
        columnsList.add("teacher_id");
        scanner = client.newScannerBuilder(table).setProjectedColumnNames(columnsList).build();
        iterator = scanner.nextRows();
    }

    @Override
    public boolean reachedEnd() {
        return iterator.hasNext() == false;
    }

    @Override
    public String nextRecord(String reuse) {
        StringJoiner joiner = new StringJoiner(":");
        RowResult rowResult = iterator.next();
        String id = String.valueOf(rowResult.getLong("id"));
        String teacher_id = String.valueOf(rowResult.getLong("teacher_id"));
        joiner.add(id).add(teacher_id);
        return joiner.toString();
    }

    @Override
    public GenericInputSplit[] createInputSplits(int numSplits) {
        GenericInputSplit[] splits = new GenericInputSplit[1];
        splits[0] = new GenericInputSplit(0, 1);
        return splits;
    }

    @Override
    public void close() throws IOException {
        scanner.close();
        client.close();
    }
}

1.open用于打开一些连接,如数据库,文件系统等,reachedEnd判断数据是否已经读完,nextRecord用于读取下条数据并返回处理结果数据,createInputSplits方法是创建数据输入分片,这里不重写,默认调用父类的同名方法,产生8个分片,即8个并行度。close里进行一些资源的释放。

2.这里继承的是GenericInputFormat类,其实还有其他的类可以使用:

所有這些类都有一个共有的顶层接口InputFormat:

不同的InputFormat都是基于不同的功能实现不同的方法,有兴趣的可以打开看一下。那么这些方法之间的调用链是怎样的呢?如下所示:

每次读取下一条记录之前都会判断记录是否读完,如果读完直接执行close方法,否则读取下一条记录。这里重点说一下createInputSplits创建输入分片,其实在Kudu(类似HBase)的scan读取中,我们要做到并行读取,在open方法构建scanner时,应该每一个scanner对应一段范围内的rowkey,这样才能并行读取,不重复读取。因此,基于此,需要重写createInputSplits和getInputSplitAssigner,创建scanner的时候也需要做相应的改动,这里不做详细说明,程序入口如下:

package com.xxx.bigdata;

import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.java.BatchTableEnvironment;

public class BatchEngine {
    public static void main(String[] args) throws Exception {
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        BatchTableEnvironment batchEnv = BatchTableEnvironment.create(env);
        batchEnv.registerTableSource("class", new KuduTableSource());
        Table result = batchEnv.sqlQuery("select * from class_room");
        batchEnv.toDataSet(result, String.class).print();
        batchEnv.execute("kudu job");
    }
}

本地测试:

由于程序里没有定义sink,我们只是print了一下,因此会报上述错误,无关紧要。

### Change Data Capture (CDC) 与 Apache Flink 的集成 Change Data Capture (CDC) 是一种用于捕获数据库变更的技术,能够实时获取数据源中的新增、修改或删除操作。Apache Flink 提供了一个强大的流处理框架,支持多种数据源的增量读取和处理。 #### CDC 在 Apache Flink 中的应用背景 目前,在 Apache Kudu 数据存储中尚未原生支持 CDC 功能[^1]。这意味着无法像其他启用了 CDC 的数据源一样通过流式方式从中读取数据。为了弥补这一不足,开发人员构建了一种专门针对 Apache KuduFlink Source Connector,从而实现了以连续且增量的方式从 Kudu 流式传输数据的功能。 以下是关于如何实现此功能的一些关键设计和技术细节: #### 设计与实现概述 - **Source Connector 开发**: 需要创建自定义的 Source Connector 来模拟 CDC 行为。该连接器会定期扫描 Kudu 表的变化记录并将其转换成适合 Flink 处理的数据结构。 - **增量拉取机制**: 使用时间戳或其他元数据字段来跟踪已处理过的数据位置,确保每次只提取新产生的更新部分而非全量加载整个表的内容。 - **高可用性和一致性保障**: 考虑到分布式环境下的复杂情况,还需要解决诸如断点续传、事务边界划分等问题,以便维持端到端的一致性以及系统的稳定性。 下面展示一段简单的 Python 实现逻辑作为参考: ```python from pyflink.datastream import StreamExecutionEnvironment from pyflink.table import StreamTableEnvironment, DataTypes from pyflink.table.descriptors import Schema, OldCsv, FileSystem env = StreamExecutionEnvironment.get_execution_environment() t_env = StreamTableEnvironment.create(env) # 假设我们有一个基于文件系统的输入源描述符 t_env.connect(FileSystem().path('/path/to/input')) \ .with_format(OldCsv() \ .field('id', DataTypes.INT()) \ .field('data', DataTypes.STRING())) \ .with_schema(Schema() \ .field('id', DataTypes.INT()) \ .field('data', DataTypes.STRING())) \ .register_table_source("KuduInput") result = t_env.sql_query(""" SELECT id, data FROM KuduInput WHERE MOD(id, 2) = 0 """) # 输出结果至控制台或者其他目标系统 t_env.to_append_stream(result, Types.ROW([DataTypes.INT(), DataTypes.STRING()])).print() env.execute("Flink Job Example") ``` 上述代码片段仅作为一个基础示例说明如何配置 Flink Table API/SQL 接口访问外部资源;实际项目可能涉及更复杂的业务需求及技术选型考量。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值