Flink1.14新特性介绍及尝鲜

最新推荐文章于 2024-08-05 09:00:19 发布
原创 最新推荐文章于 2024-08-05 09:00:19 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #flink #TableSQL #Pyhton

本文介绍了Apache Flink 1.14的新特性，包括流批一体处理的增强，如Task结束后的Checkpoint和两阶段提交，反压机制的优化如缓冲区去膨胀，以及Table/SQL/Python API的改进。同时探讨了Flink与Apache Pulsar的连接器使用。

一、Flink简介

l官网：Apache Flink: Stateful Computations over Data Streams

lApache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

​版本定位：专注于质量改进和维护的版本

发版时间：2021年9月30日

贡献者: 200+

相关链接：1.14 Release - Apache Flink - Apache Software Foundation https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/release-notes/flink-1.14/#known-issues

​Flink 1.14 升级概览

二、流批一体的处理体验

1、流批一体的背景

​2、执行模式

​3、流执行模式的 Checkpoint

​4、Task 结束后的 Checkpoint

通过在

最低0.47元/天 解锁文章
重磅！ | Flink1.14新特性预览
逆流而上Mr李
09-08 2016
欢迎加博主微信：threeknowbigdata，拉你进大数据群、Flink流计算群 大家好，我是土哥。 目前在某互联网大厂担任大数据算法工程师。 今天在查看Flink源码时，发现Flink1.14修复了很多bug，并且提了很多PR,其中完成了33个重要的新特性及优化。 Bug修复可见部分截图： Improvement可见部分截图： 新版本预计1-2周之内会发布，下面我将带领大家查看一下 Flink1.14的新特性都有哪些？ 1、流批一体优化 流批一体其实从 Flink 1.9 版本开始就受到持续的关注
【Flink】Flink Flink 1.14 新特性预览
九师兄
01-10 691
1.概述 转载：Flink 1.14 新特性预览 简介： 一文了解 Flink 1.14 版本新特性及最新进展 本文由社区志愿者陈政羽整理，内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为： 简介 流批一体 Checkpoint 机制 性能与效率 Table / SQL / Python API 总结 GitHub 地址 https://github.com/apache/flink 欢迎大家给 Flink.
Flink1.14 StreamApi(一)常见的source和sink总结
qq_44665283的博客
03-15 2902
Flink1.14 StreamApi(一)常见的source和sink总结
打造全新批流融合：详解 Apache Flink 1.14.0 发布的 Pulsar Flink Connector
Apache Pulsar
11-24 2250
作者简介盛宇帆，StreamNative 开发工程师，Apache Pulsar 与 Apache Flink 贡献者。加入 StreamNative 之前，他曾就职于阿里大数据平台和腾...
Apache Flink Meetup 8.7 深圳站，企业实践 + 1.14 新特性预览
Ververica的博客
07-22 459
时隔 10 个月，Apache Flink Meetup 又来到了深圳这个与 Flink 契合度很高的城市。正如改革和创新是深圳的标签，Apache Flink 给技术开发者们带来的，也是...
Apache Flink 1.14.0 发布公告
GavinKai
10-01 597
2021 年 9 月 29 日 Stephan Ewen (@StephanEwen) 和 Johannes Moser (@joemoeAT) Apache 软件基金会最近发布了年度报告，Apache Flink 再次跻身最活跃项目前 5 名！这一非凡的活动也体现在新的 1.14.0 版本中。200 多名贡献者再次致力于解决 1,000 多个问题。我们为这个社区如何持续推进项目而感到自豪。 此版本在 SQL API、更多连接器支持、检查点和 PyFlink 等领域带来了许多新功能和改进。此...
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
Apache Flink 1.14.3 是 Flink 1.14 系列中的一个维护版本，支持Java8
最新发布
07-22
Apache Flink 1.14.3 是 Flink 1.14 系列中的一个维护版本，于 2022 年发布，主要用于修复漏洞和增强稳定性。该版本属于 Flink 的 批流一体架构时代，在性能、状态管理、容错和部署灵活性方面已有较为成熟的实践，是...
Flink 1.20 版本发布，一些值得注意的特性！
微信搜：import_bigdata，大数据领域硬核原创作者
08-05 4795
8月2日，Flink1.20版本发布，一边听歌一边看我分析。（戳上面????听歌）本文基于官方网站的Release Note做一个简单的分析，看看哪些内容是更加值得我们关注的。在定位上，这个版本是一个2.0版本之前的过渡版本，也是1.x时代最后一个版本。这个版本中有很多细小的变动，和一些MVP版本的开发，那站在用户的角度，比较值得注意的几个特性有哪些：物化表1.20版本引入了一个 物化表(Materia...
官宣｜Apache Flink 1.16 发布公告
Ververica的博客
11-02 2536
Flink 社区正一步一步推动 Streaming warehouse 从概念变为现实并走向成熟。
flink1.14.3-on-cdh6.3.2
02-14
flink 1.14.3 cdh 6.3.2 稳定可用
Flink 特性
热门推荐
不是一枚开发
04-23 5万+
文章目录一.简介1.什么是Flink2.特点3.对比4.流处理、批处理5.架构体系 一.简介 1.什么是Flink Apache Flink是分布式大数据处理引擎，可对有限数据流和无限数据流进行状态计算，可部署在各种集群环境下，对各种大小的数据进行快速计算. flink 官网 2.特点 批流统一（支持批计算和流计算）； 支持高吞吐、低延迟、高性能的流处理； 支持带有事件时间窗口操作； 支持有状态...
【Flink】Flink 1.14 版本 新特性 Barrier 在流经算子做 checkpoint Barrier跳过 unaligned checkpoint
九师兄
08-08 1064
1.概述 在博客 【Flink】FLink Barrier 在流经算子 做 checkpoint 的时候，数据是停止的吗？ 中，我们知道。 barrier之前的算子还会处理数据，barrier对其的时候，这个节点是不处理数据的，只是缓存数据，真正barrier的时候会停止处理数据，但是这个时间很短。 但是在新特性中，使用了新的方案，此时我想的是 你妹呀，我刚刚学会这种，然后你就又变化了。 在 Apache Flink Meetup 深圳站的视频中。参考： 这个视频中。 2. 目前状态 2.1 无限流 .
使用Flink1.14操作Iceberg0.13
雾岛与鲸的博客
07-11 757
环境: flink1.14.5 iceberg0.13.2 hadoop2.6.7从https://iceberg.incubator.apache.org/releases/下载flink1.14所需的运行jar，放到flink的lib目录下，启动flink集群: 启动Flink SQL Client: 执行操作 查询数据结果:
【Flink】Flink各版本及新特性
m0_54252387的博客
02-21 6912
在流式 SQL 查询中，一个最经常使用的是定义时间窗口。Flink 1.13 中引入了一种新的定义窗口的方式：通过 Table-valued 函数。这一方式不仅有更强的表达能力（允许用户定义新的窗口类型），并且与 SQL 标准更加一致。Flink 1.13 在新的语法中支持 TUMBLE 和 HOP 窗口，在后续版本中也会支持 SESSION 窗口。
Flink版本更新汇总（1.14-1.18）
猫猫爱吃小鱼粮
12-29 5822
Flink 版本更新汇总（1.14-1.18）
flink各版本变化和新增特性
GavinKai
03-17 8089
1.6新特性 Flink 1.6-有状态流处理的下一步 在Flink 1.6.0中，我们继续在较早版本中进行的基础工作：使Flink用户能够无缝地运行快速数据处理并毫不费力地构建数据驱动的数据密集型应用程序。 Flink的状态支持是使Flink在实现各种用例时如此通用和强大的关键功能之一。为了使其更容易，社区增加了对状态TTL的本地支持（FLINK-9510，FLINK-9938）。此功能允许在状态过期后对其进行清理。现在，通过Flink 1.6.0，计时器状态可以通过将相关状态存储在RocksDB中
Flink 1.14 新特性预览
Baron_ND的博客
01-05 511
转载来自Apache flink 官网，便于查找阅读发到优快云
Flink1.14知识点总结
jason_bone_的博客
02-04 938
基于文件的source算子?readFile读取文件数据,传入文本解析格式、路径、处理模式,处理模式为PROCESS_ONCE时文件读一次就推出了,PROCESS_CONTINUOUSLY时会一直监听文件,一旦文件内容变化则整体重读因此会造成数据重复读取,而readTextFile算子底层为传参固定的readFile如何理解Kafka Source细节?
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值