flink- sql开发项目框架

1. 问题

flinksql 开发,除了sql开发本身,还可能涉及到udf,组件,兑现有包扩展等需求,整一个项目方便开发测试打包版本管理。

2. 框架

2-1. 父模块: flink_parent

没有任何代码, 只有 在pom中有flink开发通用的依赖,供子模块集成。 子模块特有的jar不在这里配置。比如easyrule 模块需要的easyrule包, 没在flink_parent 模块配置,在easyrule子模块配置。

3. 现有包扩展:flink-connector-kafka

在对应版本的 flink-connector-kafka 源码基础上的扩展,在包里增加了一个接口:

@FunctionalInterface
public interface GetTopic {
    List<String> getTopic( String param);
}

外部提供这个接口的实现类,并在createtable时调用,就可以根据自定义的函数,返回需要消费的topic。

with (
    'connector' = 'kafka',
    'topic_function' = 'sql.GetTopic1#11',    ----实现类和函数方法的参数
    'properties.bootstrap.servers' = '10.86.25.6:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值