Flink Blink Planner和Older Planner的区别

flink Blink Planner 和 old Planner的区别 Blink Planner Blink Planner 不论输入数据源是流式的还是批式的,Table API 和 SQL 查询都会被转换成 DataStream 程序。查询在内部表示为逻辑查询计划,并被翻译成两个阶段: 优化逻辑执行计划 翻译成 DataStream 程序 Table API 或者 SQL 查询在下列情况下会被翻译: 1、当 TableEnvironment.execute 阅读详情
  • Blink做到了真正的流批统一,即将批看做是特殊的流,把处理批的API和处理流的API做成了一样的。也就是说不管是批数据还是流数据,底层统统都是DataStream。所以使用Blink作为table planner的程序,Table和DataSet是不能相互转换的。
  • 由于第一条原因的关系,Blink planner是不支持BatchTableSource的,它只支持StreamTableSource。
  • Blink Planner和Old Planner的FilterableTableSource是不兼容的。Old Planner会下推PlannerExpression到FilterableTableSource。而Blink planner下推的是Expression。
  • 基于String的键值对配置项只能用于Blink Planner
  • 两种planner的PlannerConfig是不同的。
  • Blink Planner会优化多个sink到同一个TableEnvironment和StreamTableEnvironment。而Old Planner会为不同的sink优化到自己的DAG中,也就是说有几个sink就有几个DAG。
  • Old Planner 不支持 catalog统计,Blink支持。
  • Old Planner 不支持版本表(versioned Table)。版本表类似HBASE中版本表的意思,每个key可以记住过去的几个值。

以上翻译自Flink1.12官网,仅供参考。

Flink 1.14 Table & SQL 第一个程序 WordCount Flink 版本:1.14.4 Apache Flink 具有两个关系 API:Table API 和 SQL。Table API 是用于 Java、Scala 和 Python 的集成语言查询 API,可以以非常直观的方式组合不同关系运算符(例如 SELECT、FILTER 以及 JOIN)构建复杂查询。Flink SQL 基于 Apache Calcite 实现。无论输入是无界的(流式)还是有界的(批处理),任意查询都具有相同的语义并输出相同的结果。Table API 和 SQL 可以与 Flink. 阅读详情

相关推荐

大数据框架 Flink、Blink、Spark Streaming、Structured Streaming 和 Storm 之间的区别

在 1.2 节中已经跟大家详细介绍了 Flink,那么在本节就主要 Blink、Spark Streaming、Structured Streaming 和 Storm 的区别。 Flink Flink 是一个针对流数据和批数据分布式处理的引擎,在某些对实时性要求非常高的场景,基本上都是采用 Flink 来作为计算引擎,它不仅可以处理有界的批数据,还可以处理无界的流数据,在 Flink 的设计愿想...

http://www.54tianzhisheng.cn/ 1804

flink-table-planner-blink

3 人赞同了该文章Apache Flink提供了两种顶层的关系型API,分别为Table API和SQL,Flink通过Table API&SQL实现了批流统一。其中Table API是用于Scala和Java的语言集成查询API,它允许以非常直观的方式组合关系运算符(例如select,where和join)的查询。Flink SQL基于Apache Calcite 实现了标准的SQL,用户可以使用标准的SQL处理数据集。

hzp666的博客 3681

阿里新一代实时计算引擎Blink技术解密.pdf

阿里高级技术专家马国维在2017云栖大会·北京峰会中做了题为《阿里新一代实时计算引擎Blink技术解密》的分享,就流式计算架构介绍,Apache Flink,Alibaba Blink,Blink应用案例等方面的内容做了深入的分析。

Flink SQL Blink Planner 执行流程解析(上)

点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章https://blog.youkuaiyun.com/nazeniwaresakini/a...

http://www.54tianzhisheng.cn/ 761

flink-table-planner-blink_2.11-1.10.0-API文档-中文版.zip

赠送jar包:flink-table-planner-blink_2.11-1.10.0.jar; 赠送原API文档:flink-table-planner-blink_2.11-1.10.0-javadoc.jar; 赠送源代码:flink-table-planner-blink_2.11-1.10.0-sources.jar; 赠送Maven依赖信息文件:flink-table-planner-blink_2.11-1.10.0.pom; 包含翻译后的API文档:flink-table-planner-blink_2.11-1.10.0-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.flink:flink-table-planner-blink_2.11:1.10.0; 标签:flink、11、apache、blink_2、planner、table、jar包、java、API文档、中文版; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明

stm32f103运行FreeRTOS使用DMA实现USART1不定长接收

使用DMA是实现USART1的不定长接收和发送数据。接收采用FIFO缓存和队列的方式向应用层抛数据。首先定义接收和发送的缓存区,缓存区的大小根据收发数据量确定。DMA接收开启转移完成和转移一般中断。在中断中从缓存向FIFO转移数据。串口开启空闲中断,实现接收数据的分帧。分帧后的数据节点通过写入到队列。发送数据缓存的大小根据发送数据量调整。然后初始化串口和DMA。串口的发送数据接口函数。...

polaris_zgx的博客 1991

Flink SQL w/ Blink Planner执行流程解析(上篇)

Foreword 大数据领域SQL化的风潮方兴未艾(所谓"Everybody knows SQL"),Flink自然也不能“免俗”。Flink SQL是Flink系统内部最高级别的API,也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务,屏蔽了底层DataStream/DataSet API的复杂细节,降低了使用门槛。 那么,一条Flink SQL语句是如何...

LittleMagic's Blog 3036

深入剖析:功率放大电路设计精髓——从理论到实践

输入信号首先被调制(通常是PWM脉宽调制)成高频开关信号,驱动功率开关管(MOSFET),再通过LC低通滤波器滤除高频分量,还原出放大的音频信号。在靠近功放板电源引脚处放置足够容量的电解电容(如100uF - 1000uF)和高频瓷片电容(如0.1uF)并联进行电源去耦,抑制低频和高频干扰,防止低频振荡(Motorboating)和高频自激。,堪称电子世界里的“能量转换器”。当输入信号在零附近(即两个器件切换导通的区域)时,由于器件的开启电压(Vbe或Vgs)不为零,输出波形会出现明显的衔接不流畅的失真。

Zihan2558的博客 1692

概念和通用API

概念和通用API Table API和SQL集成在联合API中。该API的中心概念是Table,可用作查询的输入和输出。本文档介绍了具有Table API和SQL查询的程序的通用结构,如何注册 Table,如何查询Table以及如何发出Table。 两个Planner的主要区别 Blink将批处理作业视为流的特殊情况。因此,还不支持Table和DataSet之间的转换,并且批处理作业不会被转换为...

weixin_41608066的博客 658

Unity 接入HybridCLR的点点滴滴,亲测三平台(PC、Android、WebGL)妥妥的。-问题分享

一入热更深似海啊,没有热更是真恼火啊,干啥啥不方便,动不动就得重新发包;说实在的,也是工作之余研究这个,在原有框架基础上接入这个热更,既要保持原有功能,还要支持热更,实实在在、断断续续搞了这么久,终于是接入并测通了,这一路是坎坎坷坷,下面把走过的弯弯绕绕记录下,希望对后来想接入的小伙伴有帮助吧。

GarFe的博客 1万+

Intel RealSense D435 深度相机详解

Intel RealSense D435 深度相机是 Intel 推出的一款基于深度感知技术的相机,广泛应用于机器人、无人机、增强现实(AR)、虚拟现实(VR)、3D扫描、智能监控等领域。D435 是 RealSense 系列中较为高端的深度相机之一,结合了深度传感和 RGB 摄像技术,为用户提供高精度的深度数据和高质量的图像捕捉能力。

crasher123的博客 2939

useOldPlanner 和 useBlinkPlanner

useOldPlanner 和 useBlinkPlanner 1.9合并Blink之后对TableAPI的改进 详细分析见 https://iteblog.blog.youkuaiyun.com/article/details/105885357

weixin_42166515的博客 864

uniapp - 实现APP后台持续定位+手机息屏后能持续上传位置信息数据,详解后台保活持续运行+手机锁屏保证后台持续/实时定位的解决方案及示例源码(完美兼容安卓android与苹果ios系统手机)

使用uniapp开发app实现后台保活定位能力,uniapp实时定位保活 息屏定位后台运行,uniapp APP实时定位高德 后台运行 支持锁屏息屏运行,持续获取定位信息,uniapp App端后台间隔时间发送定位功能实现,UniApp实现手机应用常活,固定时间内上传手机位置信息,后台(或锁屏)持续/实时定位的实现方案,uni-app后台持续定位,锁屏后能持续上传位置信息,实现后台定位持续无限制定位高德定位,百度定位,UniApp后台持续定位保如何在APP退到后台时保持定位服务,uniapp 切换app仍能

🏆 前端领域优质创作者 1万+

1.18.2.9.查询优化、Blink planner、解释表

1.18.2.9.查询优化 1.18.2.9.1.Blink planner 1.18.2.10.解释表 1.18.2.9.查询优化 1.18.2.9.1.Blink planner Apache Flink使用并扩展了Apache Calcite来执行复杂的查询优化。 这包括一系列基于规则和成本的优化,例如: 基于Apache Calcite的子查询解相关 投影剪裁 分区剪裁 过滤器下推 子计划消除重复数据以避免重复计算 特殊子查询重写,包括两部分 将 IN 和 EXISTS 转换为 lef

涂作权的博客 860

docker-compose Install OrangeHRM

OrangeHRM是一个全面的人力资源管理HRM) 系统,它包含任何企业所需的所有基本功能。OrangeHRM旨在支持任何规模的团队,包括初创企业、中小企业以及大型跨国组织。

极致,细节 1003

【Linux命令大全】006.网络通讯之write命令(实操篇)

Linux write命令摘要 write是Linux系统中用于用户间实时通讯的命令工具,允许向其他登录用户的终端发送消息。主要功能包括: 基本使用:通过write username向指定用户发送消息,Ctrl+D结束输入 终端指定:当用户登录多个终端时,可用write username tty指定目标终端 实用技巧: 使用who查看在线用户 通过管道发送单行消息:echo "内容" | write user 支持多行消息发送和简单聊天会话。

yuhuasheng1997的博客 213

揭秘 Flink 1.9 新架构,Blink Planner 你会用了吗?

本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇,Flink SQL 系列文章由其核心贡献者们分享,涵盖基础知识、实践、调优、内部实现等各个方面,带你由浅入深地全面了解 Flink SQL。 1. 发展历程 今年的8月22日 Apache Flink 发布了1.9.0 版本(下文简称1.9),在 Flink 1.9 中,Table 模块迎来了核心架...

阿里云云栖号 1910

基于simulink创建一个针对双馈异步风力发电机并网运行的仿真模型

摘要:本文详细介绍了基于Simulink的双馈异步风力发电机(DFIG)并网运行仿真建模方法。系统包含风速输入、风力机、双馈发电机、电力电子变换器、控制器和并网接口等模块,通过8个步骤完整呈现了建模流程,包括风速模拟、机械功率计算、发电机特性建模、变流器控制策略设计等关键环节。仿真可评估系统在不同风速条件下的动态响应、最大功率跟踪能力和发电效率,为风力发电系统的优化设计提供有效验证手段。模型可根据实际需求扩展环境因素和电网交互等细节,提高仿真精度。

amy_mhd的博客 333

Flink/Blink 原理漫谈(零)运行时的组件

系列文章目录 文章目录系列文章目录前言 谈谈blink和flinkBlink原理漫谈零、 Flink运行时的组件JobManagerTaskManagerResourceManagerDispatcher任务提交流程 前言 谈谈blink和flink 在实习时候接触到了flink,这玩意实现了大促期间的实时大数据更新,这对我们这种只写过python,c++啥玩意的来说闻所未闻,所以了解了一下flink的原理,并且尝试使用了公司的blink,在学习时间之余,整理了所有的学习笔记,目的也是分享学习。 A

Foools的博客 6147

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

flink blink_planner array解析,列传行

CREATE TABLE sourceTable ( event_time_line array<ROW ( `rule_name` VARCHAR, `count` VARCHAR )> ) WITH ( 'connector.type' = 'kafka', 'connector.version' = 'universal', 'connector.startup-mode' = 'earliest-offset', 'connector.topic'

dian张 830

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

修改代码150万行!与 Blink 合并后的 Apache Flink 1.9.0 究竟有哪些重大变更?

8月22日,Apache Flink 1.9.0 正式发布,早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。当前 Flink 1.9.0是阿里内部版本 Blink 合并入 Flink 后的首次发版,修改代码150万行,此次发...

chikuai9995的博客 260

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

一文带你了解最新发布的Apache Flink 1.11.0

来源|Apache Flink 官方博客 翻译| 高赟(云骞) Apache Flink 社区很荣幸的宣布 Flink 1.11.0 版本正式发布!超过 200 名贡献者参与了 Flink 1.11.0 的开发,提交了超过 1300 个修复或优化。这些修改极大的提高了 Flink 的可用性,并且增强了各个 API 栈的功能。其中一些比较重要的修改包括: 核心引擎部分引入了非对齐的 Checkpoint 机制。这一机制是对 Flink 容错机制的一个重要改进,它可以提高严重反压作业...

ylejun的博客 2079

干货 | 五千字长文带你快速入门FlinkSQL

前言         最近几天因为工作比较忙,已经几天没有及时更新文章了,在这里先给小伙伴们说声抱歉…临近周末,再忙再累,我也要开始发力了。接下来的几天,菌哥将为大家带来关于FlinkSQL的教程,之后还会更新一些大数据实时数仓的内容,和一些热门的组件使用!希望小伙伴们能点个关注,第一时间关注技术干货! FlinkSQL出现的背景         F

大数据梦想家 2389

blink解决的一个flink分析痛点

blink正在紧锣密鼓的与flink合并,作为flink开发者,大数据开发者,还是有必要测试一下的,经常有粉丝微信群里问浪尖会不会用blink,关于这点,我发过文章了:浪...

大数据星球-浪尖 3664

Apache Flink 零基础

低代码、易开发、易维护、可读性强,适配实时数仓分层、指标统计、数据清洗、多源数据关联等绝大多数业务场景,支持Kafka、Doris、MySQL、Hive等主流组件读写,是企业实时开发主流方案。:接收客户端提交的实时/离线任务、解析任务逻辑、生成DAG执行流程图、分配集群资源、调度任务运行、管理Checkpoint/Savepoint、处理任务故障重启、协调集群节点状态。手动触发的状态快照,主要用于任务升级、代码迭代、版本更新、集群迁移、任务重启等运维操作,保证业务无感知、数据不错乱、任务无缝恢复。

2402_85354210的博客 312
上一篇: Flink1.11 Table/SQL API 入门
下一篇: Flink SQL流表与维表join实践
iFence
博客等级 码龄9年 8051粉丝 111原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值