flink实战--flinksql自定义table source

阿华田512

于 2022-07-24 16:39:33 发布

阅读量1.1k

点赞数

分类专栏： Flink学习必读系列文章标签： flink 大数据 big data

本文链接：https://blog.youkuaiyun.com/aA518189/article/details/122753119

版权

Flink学习必读系列专栏收录该内容

70 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在Flink中自定义HTTP Source连接器以满足特定业务需求。通过实现Runtime的SourceFunction、Planner的TableSourceFactory和TableSource，详细阐述了自定义过程，并提供了测试案例。内容包括定义SourceFunction、TableSource以及TableSourceFactory的步骤，以及如何进行测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

Flink原生提供了很多FlinkSQL的connector(Mysql,Hbase,ES等具体支持哪些可以参考官网)，但是对于特殊需求官方提供的connector并不能满足我们的业务需求或者有些存储介质（neo4j,redis等）connector官方就不支持。这时候就需要我们自定义connector，本文以自定义http source介绍Flink中如何自定义connector 。

Flink Table 连接器结构

自定义source需要实现如下内容：

1. 实现 Runtime 的 SourceFunction
2. 实现 Planner 的 TableSourceFactory 和 TableSource

先看一下自定义http_source 的Table Schema

create table http_source(
     id string
    ,name string
    ,city string
)WITH(
 'connector' = 'http'

了解本专栏

超级会员免费看