Flink学习:Flink Connecter连接各数据源

最新推荐文章于 2024-05-27 22:53:08 发布
最新推荐文章于 2024-05-27 22:53:08 发布
阅读量672 收藏 2
点赞数 1
分类专栏： Flink 文章标签： flink 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nzbing/article/details/127714182
版权

Flink

一、代码实现

<一>、读取Json数据,写入HDFS

package cn.flink.opt1;

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;

public class FlinkJson2HDFSCsv {

    public static void main(String[] args) {
        //获取tableEnvironment

        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance()
                .build();
        TableEnvironment tEnv = TableEnvironment.create(environmentSettings);
	
		//读取本地input文件下json数据,文件自行准备
        String source_sql = "CREATE TABLE json_table (\n" +
                "  id Integer,\n" +
                "  name STRING,\n" +
                "  email STRING,\n" +
                "  date_time STRING" +
                ") WITH (\n" +
                "  'connector'='filesystem',\n" +
                "  'path'='input/userbase.json',\n" +
                "  'format'='json'\n" +
                ")";

        String sink_sql = "CREATE TABLE sink_hdfs (\n" +
                "  id Integer,\n" +
                "  name STRING,\n" +
                "  email STRING,\n" +
                "  date_time STRING" +
                ") WITH ( \n " +
                " 'connector' = 'filesystem',\n" +
                " 'path' = 'hdfs://localhost:9000/output_csv/' , \n" +
                " 'format' = 'csv'\n" +
                ")";
        //hdfs://localhost:9000,配置在core-site.xml下

        String insert_sql = "insert into sink_hdfs select id,name,date_time,email from json_table ";

        tEnv.executeSql(source_sql);
        tEnv.executeSql(sink_sql);
        tEnv.executeSql(insert_sql);

    }
}

在这里插入图片描述

<二>、读取HDFS数据,写入HBase

package cn.flink.opt1;

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;

public class FlinkWithHDFSCSV2HBase {
    public static void main(String[] args) {
        //获取tableEnvironment

        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance()
                .build();
        TableEnvironment tEnv = TableEnvironment.create(environmentSettings);

        String source_sql = "CREATE TABLE source_hdfs (\n" +
                "  id Integer,\n" +
                "  name STRING,\n" +
                "  email STRING,\n" +
                "  date_time STRING" +
                ") WITH ( \n " +
                " 'connector' = 'filesystem',\n" +
                " 'path' = 'hdfs://localhost:9000/output_csv/' , \n" +
                " 'format' = 'csv'\n" +
                ")";

        String sink_sql = "CREATE TABLE sink_table (\n" +
                " rowkey Integer,\n" +
                " f1 ROW<name STRING,email STRING,date_time STRING > ,\n" +
                " PRIMARY KEY (rowkey) NOT ENFORCED \n" +
                ") WITH (\n" +
                " 'connector' = 'hbase-2.2',\n" +
                " 'table-name' = 'hTable',\n" +
                " 'zookeeper.quorum' = 'bigdata01:2181,bigdata02:2181,bigdata03:2181'\n" +
                ") ";


        String execute_sql = "insert into sink_table select id as rowkey ,ROW(name,email,date_time) from source_hdfs";

        tEnv.executeSql(source_sql);
        tEnv.executeSql(sink_sql);
        tEnv.executeSql(execute_sql);
    }
}

<三>、读取HBase数据写入Kafka

package cn.flink.opt1;

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;

public class FlinkTableWithHBase2Kafka {
    public static void main(String[] args) {


        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance()
                .build();
        TableEnvironment tEnv = TableEnvironment.create(environmentSettings);



        String source_table = "CREATE TABLE opt_log (\n" +
                " rowkey Integer,\n" +
                " f1 ROW<username STRING,email STRING,date_time STRING > ,\n" +
                " PRIMARY KEY (rowkey) NOT ENFORCED \n" +
                ") WITH (\n" +
                " 'connector' = 'hbase-2.2',\n" +
                " 'table-name' = 'opt_log',\n" +
                " 'zookeeper.quorum' = 'bigdata01:2181,bigdata02:2181,bigdata03:2181'\n" +
                ") ";



        String sink_table = "CREATE TABLE KafkaTable (\n" +
                "  `username` STRING,\n" +
                "  `email` STRING,\n" +
                "  `date_time` STRING \n" +
                ") WITH (\n" +
                "  'connector' = 'kafka',\n" +
                "  'topic' = 'user_output',\n" +   //指定topic
                "  'properties.bootstrap.servers' = 'bigdata01:9092,bigdata02:9092,bigdata03:9092',\n" +
                "  'format' = 'json'\n" +
                ")";

        String execute_sql = "insert into KafkaTable select username,email,date_time from opt_log";

        tEnv.executeSql(source_table);
        tEnv.executeSql(sink_table);
        tEnv.executeSql(execute_sql);
    }
}

<四>、读取Kafka数据写入Mysql

package cn.flink.opt1;

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;

public class FlinkTableWithKafka2MySQL {
    public static void main(String[] args) {

        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance()
                // .inStreamingMode()//默认就是这个
                //      .useBlinkPlanner()//flink1.14版本之后，默认就是使用了Blink
                .build();
        TableEnvironment tEnv = TableEnvironment.create(environmentSettings);


        String source_table = "CREATE TABLE KafkaTable (\n" +
                "  `id` Integer,\n" +
                "  `name` STRING,\n" +
                "  `email` STRING,\n" +
                "  `date_time` STRING \n" +
                ") WITH (\n" +
                "  'connector' = 'kafka',\n" +
                "  'topic' = 'usr_opt',\n" +
                "  'properties.bootstrap.servers' = 'bigdata01:9092,bigdata02:9092,bigdata03:9092',\n" +
                "  'properties.group.id' = 'user_opt_group',\n" +
                "  'scan.startup.mode' = 'earliest-offset',\n" +
                "  'format' = 'json',\n" +
                "   'json.fail-on-missing-field' = 'false',\n" +
                " 'json.ignore-parse-errors' = 'true'\n" +
                ")";


        String sink_sql = "CREATE TABLE mysql_sink (\n" +
                "  id Integer,\n" +
                "  username STRING,\n" +
                "  email STRING,\n" +
                "  date_time STRING" +
                ") WITH (\n" +
                "  'connector' = 'jdbc',\n" +
                "  'url' = 'jdbc:mysql://bigdata03:3306/user_log?characterEncoding=utf-8&serverTimezone=GMT%2B8',\n" +
                "  'driver' = 'com.mysql.jdbc.Driver',\n" +
                "  'table-name' = 'clicklog',\n" +
                "  'username' = 'root',\n" +
                "  'password' = '123456'\n" +
                ")";

        String execute_sql ="insert into mysql_sink select id , name as username,email,date_time from KafkaTable";

        tEnv.executeSql(source_table);
        tEnv.executeSql(sink_sql);
        tEnv.executeSql(execute_sql);
    }

}

二、pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.flinksql</groupId>
    <artifactId>flink_sql_study</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <scala.binary.version>2.12</scala.binary.version>
        <flink.version>1.14.3</flink.version>
        <hadoop.version>3.1.4</hadoop.version>
        <hbase.version>2.2.7</hbase.version>
        <hive.version>3.1.2</hive.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <!-- <scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <!-- <scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <!-- <scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
            <!-- <scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.projectlombok/lombok -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.22</version>
            <scope>provided</scope>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.73</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.15</version>
        </dependency>

        <!-- flink 读写CSV文件  -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- flink 读写json文件  -->

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>


     <!--  flink  读写HDFS需要用到的jar包  -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hadoop-compatibility_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>

            <exclusions>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-math3</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-compress</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
        </dependency>



        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-math3</artifactId>
            <version>3.5</version>
        </dependency>


        <!--  flink 整合HBase需要用到的jar包-->


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hbase-2.2_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>${hbase.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>commons-math3</artifactId>
                    <groupId>org.apache.commons</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>${hbase.version}</version>
        </dependency>

        <!--   flink整合Kafka需要用到的jar包 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- flink读写jdbc需要用到的jar包 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>

        <!-- flink整合hive需要用到的jar包  -->

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>${hive.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>hadoop-hdfs</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-compress</artifactId>
                    <groupId>org.apache.commons</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <!--  <dependency>
              <groupId>org.apache.commons</groupId>
              <artifactId>commons-io</artifactId>
              <version>1.3.2</version>
          </dependency>
  -->

        <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.11.0</version>
        </dependency>

        <dependency>
            <groupId>org.antlr</groupId>
            <artifactId>antlr-runtime</artifactId>
            <version>3.5.2</version>
        </dependency>


        <dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.3</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.1.1</version>
                <configuration>
                    <!-- put your configurations here -->
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-dependency-plugin</artifactId>
                <version>2.10</version>
                <executions>
                    <execution>
                        <id>copy-dependencies</id>
                        <phase>package</phase>
                        <goals>
                            <goal>copy-dependencies</goal>
                        </goals>
                        <configuration>
                            <outputDirectory>${project.build.directory}/lib</outputDirectory>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <version>2.15.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
Flink CDC系列之：Oracle CDC Connector
zhengzaifeidelushang的博客
08-19 1871
Flink CDC系列之：Oracle CDC Connector
Flink与Redis集成：自定义连接器实现维表创建与数据汇入
数据与算法架构提升之路专栏
01-31 809
本文详细介绍了如何在Apache Flink中通过自定义连接器与Redis进行数据交互，包括创建Redis维表和实现数据汇入。文章展示了如何利用现有的Redis连接器和Flink的动态表特性，通过自定义的Source和Sink，实现流式数据与Redis维表的实时Join操作，以及如何将数据批量写入Redis。此外，还探讨了如何通过缓存优化和复用现有格式来提高性能。
Flink Broadcast State实用指南
Matrix42
06-27 3614
从1.5.0开始，Flink提供了一种新的State类型，称为Broadcast State。在这篇文章中，我们将解释什么是Broadcast State，并展示如何将其应用于评估事件流上的动态模式的应用的示例。我们将向您介绍处理步骤和源代码，以实现此应用。 什么是Broadcast State？ Broadcast State可用于以特定方式组合和联合处理两个事件流。第一个流的事件被广播到一个算...
Flink对两个并行的数据源进行连接操作，如何保证数据的共享？
mcdull213的博客
07-06 8695
当对两个并行的数据源进行连接操作，如何保证数据的共享？ 1. 场景： 在项目中，对两个数据源进行整合，出现了数据丢失的情况。 需求：Kafka数据中domain通过MySQL数据转换为userid Kafka(ip,domain,traffic)=Flink - connect=MySQL(userid,domain)==>Result(ip,userid,traffic） 数据源一...
Flink：配置多个数据源和多个数据源并行处理
程序员无羡的博客
04-16 1799
Flink：配置多个数据源和多个数据源并行处理
flink 多数据源适配
AinUser的博客
01-21 2083
# 数据支持elasticsearch5/7、clickhouse、cdc github地址：https://github.com/ainusers/flink-adapter-datasource
Flink学习——处理不同数据源的流数据，存入不同的Sink端
雷神乐乐的博客
05-17 1292
Flink学习——处理不同数据源的流数据，存入不同的Sink端 mysql、kafka、hbase、redis
Flink学习 - 5. Flink之DataSource
jerome520zl的博客
12-23 474
Flink学习 - 5. Flink之DataSourceDataSourceFlink自带的DataSourcesocket给定元素基于集合文件生成自定义DataSourceRichSourceFunction DataSource 简单来说，DataSource是指数据来源，也是其字面意思，Flink无论是实时流计算还是批计算都基于数据进行，其数据源是非常重要的一部分，Flink在命名这一方面...
flink-connector-debezium:此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更
05-31
Flink-connector-debezium 基于Red Hat开源的Debezium组件，和Flink结合，实现在Flink上直接监听各种数据库的Change Log，并且能够利用Flink的特性，输出到不同的位置上，以实现数据总线和实时数仓的构建。此项目...
吃透Flink架构：一个新版Connector的实现
j简说Linux的博客
11-09 462
批模式和流模式通常需要不同的处理逻辑，例如示例的批模式通过一个计数器来结束批数据。对于 KafkaSource，批模式下 SplitEnumerator 列出处有的 partition，并把每个 partition 的当前最新的数据偏移作为数据分片的结束点，流模式下 SplitEnumerator 则把无穷大作为 partition 数据分片的结束点，即会持续的读取每个 partition 的新增数据，流模式下还可以周期性的监测 partition 的变化并为新增的 partitition 生成数据分片。
Flink 自定义数据源Connector
tianhouquan的专栏
05-13 5338
flink自定义数据源
flink多并行数据源下的waterMark触发机制1.pdf
01-22
flink
Flink---各种数据源（Source）
shall潇の菜园
06-28 1018
文章目录一、内存二、文件三、kafka四、自定义 public class SensorReading { private String id; private Long timestamp; private Double temperature; // 这里 构造器、getter、setter、toString() 就不粘贴了 } 一、内存 public class Source1_Collection { public static void main(Strin
flink cdc多种数据源安装、配置与验证（超详细总结）
阿甘兄
07-28 7523
超详细总结flink cdc多种数据源安装、配置与验证
Flink SQL(三) 连接到外部系统System和JDBC
qq_42575907的博客
07-25 776
​作为TableSink向数据库写入数据时，运行的模式取决于创建表的DDL是否定义了主键（primarykey）。如果有主键，那么JDBC连接器就将以更新插入（Upsert）模式运行，可以向外部数据库发送按照指定键（key）的更新（UPDATE）和删除（DELETE）操作，如果没有定义主键，那么就将在追加（Append）模式下运行，不支持更新和删除操作。要注意写入MySQL中真正的表名称是users，而MyTable是注册在Flink表环境中的表。...
flink1.11.2连接hive数据库
weixin_43943806的博客
11-30 9021
#flink连接hive并读取数据 前提条件 已经有Hadoop和hive的环境 flink版本1.11.2 设置hive-site.xml #修改hive-site.xml文件如下，此文件不是修改hive安装目录下面的文件而是你项目启动的环境 直接拷贝hive下面的过来修改了一样的 <configuration> <property> <name>hive.metastore.uris</name> <value>thrift://192.1
Flink 数据源
最新发布
王小工小工历程
05-27 1577
在 Flink 中，数据源（Source）是其中一个核心组件，负责从各种来源读取数据供 Flink 程序处理。
十八、Flink自定义多并行Source
猫猫爱吃小鱼粮
08-13 3019
Flink自定义多并行Source
Flink CDC 和 kafka 进行多源合并和下游同步方案
热门推荐
野狼e族 的博客
01-31 1万+
一、前言 本文主要是针对 Flink SQL 使用 Flink CDC 无法实现多库多表的多源合并问题，以及多源合并后如何对下游 Kafka 同步更新的问题，因为目前 Flink SQL 也只能进行单表 Flink CDC 的作业操作，这会导致数据库 CDC 的连接数过多。 但是 Flink CDC 的 DataStream API 是可以进行多库多表的同步操作的，本文希望利用 Flink CDC 的 DataStream API 进行多源合并后导入一个总线 Kafka，下游只需连接总线 kafka 就可以
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值