Env-StreamTableEnvironment源码解析

最新推荐文章于 2024-06-29 00:58:52 发布

VavzNvml

最新推荐文章于 2024-06-29 00:58:52 发布

阅读量241

点赞数

CC 4.0 BY-SA版权

文章标签：算法大数据

本文链接：https://blog.youkuaiyun.com/VavzNvml/article/details/133016890

大数据专栏收录该内容

79 篇文章 ¥59.90 ¥99.00

订阅专栏

本文详细解析Apache Flink的StreamTableEnvironment，它是处理流数据的核心API，提供表格编程模型和SQL支持。内容包括依赖引入、创建StreamExecutionEnvironment、注册数据源、执行SQL查询及输出结果的示例代码，帮助开发者更好地理解和应用StreamTableEnvironment。

StreamTableEnvironment是Apache Flink中用于处理流数据的核心API之一。它提供了一种以表格为中心的编程模型，使得开发者可以使用SQL或类似SQL的API对流数据进行处理和分析。本文将对StreamTableEnvironment的源码进行详细解析，并提供相应的源代码示例。

引入依赖

在使用StreamTableEnvironment之前，我们需要在项目中引入相应的依赖。以下是一个示例的Maven依赖配置：

<dependencies>
    <dependency>
        <groupId>org.apache.flink

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

VavzNvml

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

StreamTableEnvironment 源码详解及应用示例

2301_79367634的博客

08-16

472

StreamTableEnvironment 是 Flink Table API 和 SQL 的核心入口之一，它允许用户在实时数据流中执行 SQL 查询、聚合操作以及表与流之间的转换。在分析实时数据时，StreamTableEnvironment 提供了一套强大的功能，使得开发者可以使用熟悉的 SQL 查询语言进行数据处理和分析。

Flink 异常 - 12.java.lang.IncompatibleClassChangeError: Implementing class X StreamTableEnvironment

BITDDD小栈

11-13

1314

Flink -java.lang.IncompatibleClassChangeError: Implementing class 异常排查与解决。

参与评论您还未登录，请先登录后发表或查看评论

Flink-Table SQL 实践编程 StreamTableEnvironment（十）下

springk的专栏

03-25

3425

StreamTableEnvironment主要是流式数据处理，本文主要实现GroupBy Window Aggregation、Over Window aggregation对应sql api的代码实现，同时实现流数据表join 连接。代码中使用socket方式作为source数据输入方式，闲话不说，具体代码如下：StreamTableEnvironment tEnv = StreamTableEnvironment.create(env);

Flink-Table API 实践编程 StreamTableEnvironment（九）下

springk的专栏

03-07

1606

这一节主要是实践编程StreamTableEnvironment下相关table api的使用信息，主要针对StreamTableEnvironment，对应实现GroupBy Window相关操作

流环境Table API的使用基础

zg_hover的专栏

11-12

750

Flink的Table API在批和流环境下都有对应的类可以使用，本文主要介绍流环境（StreamExecutionEnvironment）下的Table API的使用。本文只是一个使用的入门，所以会在本地单机环境下进行操作。表的基本概念临时表和永久表表可以是临时的，并与单个 Flink 会话（session）的生命周期相关，也可以是永久的，并且在多个 Flink 会话和群集（cluster）中可见。永久表需要 catalog（例如 Hive Metastore）以维护表的元数据。一旦永久表被创建

HiveFlink整合原理与代码实例讲解

AI天才研究院

06-29

884

Hive-Flink整合原理与代码实例讲解作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Hive-Flink整合,HiveQL查询,Flink实时流处理,大数据集成,SQL on Streaming Data

Seatunnel源码解析(2)-加载配置文件

xd1753762376的博客

03-20

3404

Seatunnel源码解析(2)-加载配置文件需求公司在使用Seatunnel的过程中，规划将Seatunnel集成在平台中，提供可视化操作。因此目前有如下几个相关的需求：可以通过Web接口，传递参数，启动一个Seatunnel应用可以自定义日志，收集相关指标，目前想到的包括：应用的入流量、出流量；启动时间、结束时间等在任务结束后，可以用applicationId自动从yarn上收集日志(一是手动收集太麻烦，二是时间稍长日志就没了) 材料 Seatunnel：2.0.5 目前官方2

FlinkSQL源码解析（三）执行流程

Yuan_CSDF的博客

03-13

3551

1、前言前面2部分主要是介绍以下2点： flink sql整体的执行流程大致为：sqlNode --> Operation --> RelNode --> 优化 --> execNode --> Transformation。以及flink sql源码解析需要使用到的java spi。现在具体来看看flink sql 在其内部转换的实现步骤，就是如何去调用连接器，主要是在sqlNode --> RelNode这一步。 ...

假如只是获取一个这个类实列，但未做其他处理，比如Configuration conf = new Configuration(); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(conf).disableOperatorChaining(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);那配置是看conf还是看flink-conf.yaml

热门推荐

alanchanchn的专栏

01-17

6万+

系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。

Flink-Table StreamTableEnvironment基础知识（三）

springk的专栏

01-16

9485

StreamTableEnvironment用于流计算场景，流计算的对象是DataStream。相比 TableEnvironment，StreamTableEnvironment 提供了 DataStream 和 Table 之间相互转换的接口，如果用户的程序除了使用 Table API & SQL 编写外，还需要使用到 DataStream API，则需要使用 StreamTableE...

Flink TableAPI 依赖问题

刘勇的博客

09-08

2649

Flink TableAPI 依赖问题。“Could not instantiate the executor. Make sure a planner module is on the classpath”

BatchTableEnvironment引入的Maven依赖

蒙奇D路飞

12-23

4752

不要引入这个maven依赖(scala) org.apache.flink flink-table-api-scala_2.12 ${flink.version} 这个依赖里有对应的方法(scala) org.apache.flink flink-table-api-scala-bridge_2.12 1.9.0 ...

Flink-Table StreamTableEnvironment实践编程（四）中

springk的专栏

01-17

1847

六、实现RetractStreamTableSink操作 public class TableStreamFlinkStudentRetractTest { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = Stre...

shell env -i 命令解析

04-30

<think>好的，用户现在想了解shell中的`env -i`命令的用法和功能。我需要根据他提供的引用资料以及之前的对话内容来详细解答这个问题。首先，回顾用户提供的引用内容。引用[1]和引用[2]都提到了`env`命令的基本用法，特别是`env -i`的示例，比如`env -i NAME=flavio node app.js`，这说明`env -i`用于在空环境中运行命令，并可以设置新的环境变量。引用[2]中还提到，使用`-i`选项后，程序内的环境变量如`PATH`会变成`undefined`，除非显式传递。而引用[3]和引用[4]虽然涉及shell脚本和mknod命令，但可能与当前问题关联不大，暂时可以忽略。接下来，用户之前的对话中，我们讨论了`kill -USR2`命令，但当前问题转向了shell的`env -i`命令，需要专注于新问题。用户希望了解`env -i`的作用和使用方法，所以需要详细解释该命令的功能、使用场景以及具体示例。首先，我需要明确`env -i`的作用是清除当前环境变量，创建一个干净的环境来运行命令。这可以避免现有环境变量的干扰，确保程序在纯净的环境中执行。例如，在测试或安全敏感的场景下，使用`env -i`可以隔离环境变量，防止潜在的安全风险或配置冲突。然后，需要说明使用方法。根据引用[2]中的示例，`env -i`后面可以跟随变量赋值，然后是要执行的命令。比如`env -i PATH=/usr/bin ls`，这样`ls`命令会在只有`PATH`被设置的环境中运行。同时，如果使用`env -i`而不设置任何变量，程序将无法访问任何环境变量，可能导致某些依赖环境变量的程序出错。此外，需要注意常见误区，比如`env -i`不会影响子进程的环境，除非显式传递变量。同时，与`unset`不同，`env -i`是启动时清空，而不是在现有环境中删除变量。可能用户的应用场景包括调试、安全执行脚本或测试环境变量对程序的影响。需要举出实际的例子，如测试脚本是否依赖特定变量，或者在CI/CD流程中确保环境一致性。最后，生成相关问题时要考虑用户可能进一步想知道的内容，比如如何保留部分变量，与`unset`的区别，以及调试环境变量的方法等。这有助于用户深入理解并解决实际问题。</think>### `env -i` 命令详解 `env -i` 是 Linux/Unix 系统中用于**创建纯净执行环境**的核心命令，其核心功能是**清除所有继承的环境变量**，并允许用户**自定义新环境变量**来运行指定程序。这一特性在**环境隔离**和**安全测试**场景中尤为重要。 --- #### 一、核心作用 1. **环境变量清零** - 默认情况下，进程会继承父进程（如 Shell）的所有环境变量（如 `PATH`, `HOME`, `USER` 等） - `env -i` 会**清空所有继承的环境变量**，仅保留显式指定的变量[^2] 2. **自定义环境配置** - 可通过 `VAR=value` 语法手动添加所需变量 - 示例： ```bash env -i PATH=/usr/bin LANG=C ls # 仅保留PATH和LANG变量执行ls命令 ``` --- #### 二、典型使用场景 | 场景类型 | 作用说明 | 示例命令 | |-------------------|---------------------------------------|-----------------------------------| | **环境隔离测试** | 验证程序是否依赖特定环境变量 | `env -i ./test_script.sh` | | **安全执行** | 防止敏感变量（如API密钥）泄露 | `env -i AWS_SECRET=xxx python app.py` | | **最小化调试** | 定位由环境变量引发的异常问题 | `env -i http_proxy= http://... curl example.com` | --- #### 三、具体用法解析 1. **基础语法** ```bash env -i [VAR1=value1 VAR2=value2...] <command> [args] ``` 2. **执行效果对比** ```bash # 普通执行（继承所有环境变量） env | wc -l # 输出：约30-50个变量 # 使用-i后执行 env -i env | wc -l # 输出：0（除非显式指定变量） ``` 3. **组合应用示例** ```bash # 运行Python脚本时仅保留HOME变量 env -i HOME=$HOME python3 script.py # 测试环境变量缺失时的程序行为 env -i /usr/local/bin/node app.js # 输出process.env为空[^2] ``` --- #### 四、注意事项 1. **依赖性问题** - 程序若依赖未显式指定的变量（如 `PATH`）会直接报错 - 解决方法：手动添加关键变量 ```bash env -i PATH=/usr/bin:/sbin /bin/ls ``` 2. **与`unset`的区别** | 命令 | 作用阶段 | 影响范围 | |-------------------|----------------|-----------------| | `env -i` | 进程启动时 | 完全清空环境 | | `unset VAR` | 进程运行中 | 删除单个变量 | 3. **信号传递影响** - 通过 `env -i` 启动的进程仍可接收信号（如 `SIGUSR2`）[^1] --- #### 五、高级用法：环境调试使用 `strace` 跟踪环境变量加载： ```bash strace -e trace=execve env -i ls 2>&1 | grep 'envp' # 观察实际传递的环境变量数组 ``` --- --相关问题--: 1. 如何在`env -i`中保留部分系统默认变量？ 2. `env -i` 与 `docker run --env-file` 有何异同？ 3. 如何通过环境变量影响Shell脚本的`$IFS`分隔符？[^3]