Flink学习-小记

最新推荐文章于 2024-06-23 23:22:47 发布
最新推荐文章于 2024-06-23 23:22:47 发布
阅读量159 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 技术类 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_17200461/article/details/118071226
Flink是一个用于处理无界和有界数据流的框架和分布式计算引擎，以其快速的状态计算著称。它提供了简单易用的API，使得开发者能够快速上手进行实时数据处理。Flink的关键特性包括高效的数据流处理、精确一次的状态一致性以及强大的容错能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简介

Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算

特点

在这里插入图片描述
在这里插入图片描述

快速上手

Flink 1.11 非对齐检查点 Unaligned Checkpoint 简介
SmartSi
10-01 735
Flink在1.11版本引入了非对齐检查点(Unaligned Checkpoint)功能以解决传统对齐检查点在反压场景下的痛点。传统检查点需要等待所有输入流的Barrier到达才能触发快照，在反压情况下会导致检查点延迟增加甚至失败。非对齐检查点则在第一个Barrier到达时立即触发，不阻塞处理，通过标记并保存输入流中的待处理数据来实现Exactly Once语义。虽然该功能有效缓解了反压问题，但也带来了状态膨胀和恢复耗时较长的缺点，目前仅建议应用于易反压且I/O压力较小的作业场景。随着后续优化，这一新特性
Flink学习小记-失败恢复重启策略
yangxiaobo118的博客
04-29 4232
Flink学习小记-重启策略欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎...
Flink学习小记-执行计划可视化实操
yangxiaobo118的博客
05-02 3503
Flink学习小记-实操执行计划可视化执行计划可视化方式Plan Visualization ToolApache Flink Dashboard flink会根据客户端提交程序的一些参数，以及集群中机器（TaskManager）的数量去自动优化选取一个它认为合适的执行策略（使数据在DAG中流动计算）；通常情况下，了解flink为job选取的执行计划对我们理解flink是如何执行客户端任务是非常有...
Flink Forward Asia 2024 第一天小记
2401_85111562的博客
06-23 479
在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了k8s在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了。
2021-11-12
weixin_43390992的博客
11-12 1871
Flink yarn-application怪异显示： run-application -t yarn-application insert-into_default_catalog.default_database.XXX ID:00000000000000000000000000000000 Flink yarn-application模式 JobId很怪异ID:00000000000000000000000000000000问题分析小记 搞技术难，坚持把一件事做好难，能坚持写文章记录踩坑生活更是难上加
地址总结小记
weixin_44996457的博客
02-09 274
1、开源下载 ：Index of /dist Index of /disthttp://archive.apache.org/dist/
9.30小记——2023年实习总结
My Struggle
09-30 2704
自从6月的暑假到现在，我已经换了第三份实习了，可叹又可悲。可叹的是费劲千辛万苦终于找到了一家满意的实习单位。可悲的是今年的就业行情和我今年的实习经历一样捉摸不定——实习跳了好几家，一家比一家好，但是要么我看不上人家单位，要么就是我看得上的，转正机会却渺茫。秋招虽然有几个offer，但各方面完全满意的并没有。不仅我是这样，周围的小伙伴们也是如此。下面我就来讲讲今年的实习经历吧。
Kafka小记(二)
zhy_2117的博客
11-16 152
一、Kafka分区和消费者的关系 Kafka分区继承了一个接口，实现的是PartitionAssignor，这个接口下面有两个类，RoundRobinAssignor和RangeAssignor两种算法实现 第一种轮循方法更优 二、文件的存储机制 存储机制图 三、文件的传输机制 传输机制图 四、Spark Streaming简介 DStream 是一个数据抽象 在内部，一个DStream是...
Java transient关键字使用小记
大数据星球-浪尖
02-02 356
1. transient的作用及使用方法我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化，java的这种序列化模式为开发者提供了很多便利，我们可以不必关系具体序列化的过程，只要这个类实现了Serilizable接口，这个类的所有属性和方法都会自动序列化。然而在实际开发过程中，我们常常会遇到这样的问题，这个类的有些属性需要序列化，而其他属性不需要被序列化，打个比方，如果
flink-core-1.8.1 flink-cdc-3.1.1基础依赖lib包 免费下载
08-13
flink-core-1.8.1 flink-cdc-3.1.1基础依赖lib包 免费下载flink-core-1.8.1 flink-cdc-3.1.1基础依赖lib包 免费下载flink-core-1.8.1 flink-cdc-3.1.1基础依赖lib包 免费下载flink-core-1.8.1 flink-cdc-3.1.1基础...
Flink 资源包 flink-1.15.0-bin-scala_2.12.tgz flink-connector-elasti
07-01
flink-sql-connector-mysql-cdc-2.2.1.jar flink-connector-elasticsearch7-1.15.0.jar flink-1.15.0-bin-scala_2.12.tgz
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
flink-table-planner-blink-2.11-1.12.7-API文档-中文版.zip
07-07
赠送jar包：flink-table-planner-blink_2.11-1.12.7.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.12.7-sources.jar； 赠送Maven依赖...
flink-table-planner-blink_2.11-1.13.2-API文档-中文版.zip
06-05
赠送jar包：flink-table-planner-blink_2.11-1.13.2.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.13.2-sources.jar； 赠送Maven依赖...
集群测试工具
qq_17200461的博客
01-21 9919
DFSIO测试集群I/O性能 DFSIO 用法 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.X-tests.jar TestDFSIO 15/05/22 19:50:22 INFO fs.TestDFSIO: TestDFSIO.1.8 Missing arguments. Usage: TestDFSIO [genericOptions] -read [-random |
Phabricator代码审计
qq_17200461的博客
05-26 6535
s
SonarQube
qq_17200461的博客
05-07 4351
持续集成 频繁的将代码提交到主干（重复的进行集成工作） 持续集成的优点：1、快速发现错误；2.节省人力成本 持续交付 持续部署 持续集成实现的思路 版本控制系统 svn git git版本控制 基本使用 git与github关联 github是国外的，而且是收费的 gitlib 自己搭建gitlib仓库，类似于gitgub 配置域名 配置邮箱 git基本使用 git 用户组 用户 项目 gitl...
hadoop之HDFS
qq_17200461的博客
11-07 3029
Hadoop之HDFS简介功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 功能快捷键 撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/C
功能测试面试题
qq_17200461的博客
03-11 2681
如何设计测试用例? 1、功能方面 输入正确的、异常、不存在的、不正确的数据，看页面显示是否正确。 2、接口方面的 请求变量不传参、传正确数据、不存在的选项、异常数据等，检查接口的接口响应是否正常，查看服务器日志有没报错信息。看页面显示、数据库存储等。 3、性能方面的 性能测试，看接口是否满足性能需求，正常能承受的负载是多少、平均响应时间、出错率。 前端性能：加载速度、图片展示、缩放等等。 4、安全...
flink sql-client 1.19.1
最新发布
12-31
### Flink SQL-client 1.19.1 版本特性 Flink 社区持续改进和完善 SQL-client 功能，在 1.19.1 版本中引入了一系列增强功能和优化措施。此版本增强了对复杂查询的支持，提升了性能表现，并增加了更多连接器选项来满足多样化的应用场景需求。 - **增强的查询处理能力**：支持更复杂的嵌套子查询结构以及多层聚合操作。 - **性能提升**：通过对内部执行计划生成机制进行了调整，减少了不必要的计算开销；同时针对分布式环境下的资源调度策略也做了相应优化[^1]。 - **新增加的数据源连接器**：除了已有的 Kafka 和 Hive 连接器外，还加入了对于 MongoDB、Elasticsearch 等多种外部存储系统的集成支持[^2]。 ### 安装指南 为了安装 Flink SQL-client 1.19.1，需先获取对应版本的二进制包并将其解压至目标目录： ```bash wget https://archive.apache.org/dist/flink/flink-1.19.1/flink-1.19.1-bin-scala_2.12.tgz tar -xzvf flink-1.19.1-bin-scala_2.12.tgz -C /opt/ cd /opt/flink-1.19.1 ``` 接着按照官方文档说明配置好必要的环境变量 `FLINK_HOME` 及路径设置，确保可以从任意位置调用 Flink 命令行工具[^3]。 最后根据实际应用情况下载所需的额外组件或插件，例如 MySQL CDC Connector: ```bash sudo -u flink wget https://repo1.maven.org/maven2/com/ververica/flink-connector-mysql-cdc/2.3.0/flink-connector-mysql-cdc-2.3.0.jar -P $FLINK_HOME/lib/ ``` 请注意上述命令中的链接指向的是特定版本（此处为 2.3.0），具体应依据项目需求选择合适的依赖项版本。 ### 使用教程 启动 Flink SQL-client 后可以通过交互式的命令提示符来进行各种数据库操作。下面是一个简单的例子展示如何创建一张基于 CSV 文件格式输入流上的表，并对其进行基本统计分析： ```sql CREATE TABLE my_table ( id BIGINT, name STRING, age INT ) WITH ( 'connector' = 'filesystem', 'path' = '/tmp/input.csv', 'format' = 'csv' ); SELECT COUNT(*), AVG(age) FROM my_table; ``` 此外还可以利用预加载好的 JDBC 或者其他类型的连接器实现与其他关系型数据库之间的无缝对接，方便快捷地完成数据迁移任务或是构建实时ETL管道[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值