Flink 实践代码-流数据入库

最新推荐文章于 2024-10-31 13:24:18 发布

原创

最新推荐文章于 2024-10-31 13:24:18 发布 · 1k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

这篇博客详细介绍了如何使用 Apache Flink 处理流数据并将其存入数据库。首先，构建 Flink 运行环境，接着接入数据流，然后通过 JdbcSink 将数据写入数据库。博主分享了核心代码及其逐行解释，讨论了数据表结构设计与数据流动态匹配的问题，并提出了如果将数据写入 Kafka 的思路。

1.代码与含义解释

1.1 思路

Flink 获取数据流后，需要做数据过滤那么首先就要有一下几个步骤：

构建运行环境
接入数据流
链接数据库，写入数据

1.2 直接上代码

public class VisitInfos_mysql {

    public static void main(String[] args) throws Exception {
        // 构建执行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(5);
        env.enableCheckpointing(2000, CheckpointingMode.EXACTLY_ONCE);
        // 读取文本数据 DataStreamSource 是数据源
        DataStreamSource<String> visitinfos = env.readTextFile("TheFilePaths");

        // Mysql JDBC 连接器
        JdbcConnectionOptions jdbcConnectionOptions = new JdbcConnectionOptions.JdbcConnectionOptionsBuilder()
                .withUrl("jdbc:mysql://localhost:3306/xxx")
                .withDriverName("com.mysql.cj.jdbc.Driver")