Flink之StreamTableEnvironment对象

StreamTableEnvironment是Flink用于处理流和批数据的接口,支持SQL操作。它可以执行SQL语句,如`executeSql`和`sqlQuery`,并能进行表的读写操作。Flink的元数据管理不同于Hive,其默认的catalog是内存中的`default_catalog`。用户可以创建数据库、表,并管理UDF。创建StreamTableEnvironment有两种方式,推荐使用与StreamExecutionEnvironment结合的方法。

StreamTableEnvironment对象方法简介

#1.executeSql("sql 语句")
可以执行SQL

#2.sqlQuery("sql 语句")
执行SQL查询,返回查询结果

#3.from("table name")
加载table到内存中

#4.executeInsert("table name")
把结果插入到table中

#5.createTemporaryTable("table name","table descriptor")
在内存中创建临时表

StreamTableEnvironment功能

  • Catalog管理(元数据)

Flink不比Hive,Hive的元数据是在MySQL中管理的。Flink是可以由用户来管理。

备注:

Flink里面,默认有一个catalog,名字叫:default_catalog,这个catalog在内存中。

所以,Flink中的表,它的层级关系就和MySQL、Hive、Spark不太一样。

在MySQL里,库名.表名

default.test

在Flink里,元数据库.数据库.表

default_catalog.default_database.table

  • Database,Table管理

可以创建数据库,可以创建表。

  • UDF管理(自定义函数)

StreamTableEnvironment创建方式

Flink 提供了两种创建StreamTableEnvironment的方式

  • TableEnvironment(已过期,不推荐)

EnvironmentSettings settings = EnvironmentSettings.inStramingMode().create()
TableEnvironment t_env = TableEnvironment.create(settings)
  • StreamExecutionEnvironment(推荐)

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment()
StreamTableEnvironment t_env = StreamTableEnvironment.create(env)

 

提供的引用内容未提及使用Flink SQLJava对象输出到MongoDB并根据对象ID动态创建表的方法,不过可以结合Flink和MongoDB的常规操作逻辑给出大致思路。 首先,要使用Flink SQLJava对象输出到MongoDB,需要将Java对象转换为Flink能处理的数据结构,通常是`Row`对象。之后在Flink SQL里创建一个指向MongoDB的表,并且定义好表的结构。 以下是一个示例代码,展示如何实现这个过程: ```java import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; import org.apache.flink.types.Row; import java.util.Properties; public class FlinkMongoDBExample { public static void main(String[] args) throws Exception { // 创建流执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 创建表执行环境 StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); // 定义Java对象流 // 这里简单假设已经有了一个Java对象流,实际中需要根据具体情况生成 // DataStream<YourJavaObject> javaObjectStream = ...; // 将Java对象流转换为Row流 // DataStream<Row> rowStream = javaObjectStream.map(obj -> { // // 将Java对象转换为Row对象 // return Row.of(obj.getId(), obj.getName(), ...); // }); // 创建Flink表 tableEnv.executeSql("CREATE TABLE mongodb_sink (\n" + " id STRING,\n" + " name STRING,\n" + " -- 其他字段根据Java对象属性添加\n" + " PRIMARY KEY (id) NOT ENFORCED\n" + ") WITH (\n" + " 'connector' = 'mongodb',\n" + " 'uri' = 'mongodb://localhost:27017',\n" + " 'database' = 'your_database',\n" + " 'collection' = 'your_collection'\n" + ")"); // 将Row流注册为临时表 // tableEnv.createTemporaryView("input_table", rowStream); // 使用Flink SQL将数据插入到MongoDB表中 // tableEnv.executeSql("INSERT INTO mongodb_sink SELECT * FROM input_table"); // 执行Flink作业 env.execute("Flink MongoDB Sink"); } } ``` 关于根据对象ID动态创建表,Flink SQL本身没有直接支持该功能。可以在Flink作业里使用MongoDB的Java驱动程序,依据对象ID动态创建表。以下是一个简单示例: ```java import com.mongodb.client.MongoClients; import com.mongodb.client.MongoClient; import com.mongodb.client.MongoDatabase; import org.bson.Document; public class MongoDBDynamicTableCreation { public static void createCollectionIfNotExists(String databaseName, String collectionName) { try (MongoClient mongoClient = MongoClients.create("mongodb://localhost:27017")) { MongoDatabase database = mongoClient.getDatabase(databaseName); if (!database.listCollectionNames().into(java.util.Collections.emptyList()).contains(collectionName)) { database.createCollection(collectionName); } } } } ``` 在Flink作业里,可以在处理每个Java对象时调用`createCollectionIfNotExists`方法,根据对象ID动态创建表。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值