精选Flink面试题

最新推荐文章于 2024-09-23 18:23:01 发布
原创 最新推荐文章于 2024-09-23 18:23:01 发布 · 931 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #elasticsearch #java

本文涵盖了Flink应用架构、压力测试与监控、选用Flink的原因、checkpoint机制、exactly-once语义、状态管理、watermark机制等13个面试重点。解答涉及Flink的Yarn模式、高可用配置、背压处理、状态后端RocksDB、Bloom Filter去重、Watermark处理乱序事件以及如何在数据高峰时确保系统稳定等实践策略。

1、应用架构
        问题：公司怎么提交的实时任务，有多少 Job Manager？

        解答：

        1. 我们使用 ​​yarn ​​​Per-job or Application Mode 模式提交任务。每次提交都会创建一个新的 Flink 集群，任务之间互相独立，互不影响， 方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下：

        2. 集群默认只有一个 Job Manager。但为了防止单点故障，我们配置了高可用。 我们公司一般配置一个主 Job Manager，两个备用 Job Manager，然后结合 ZooKeeper 的使用，来达到高可用。

2、压测和监控
        问题：怎么做压力测试和监控？

        解答：我们一般碰到的压力来自以下几个方面：

        一，产生数据流的速度如果过快，而下游的算子消费不过来的话，会产生背压。 背压的监控可以使用 Flink Web UI(localhost:8081) 来可视化监控，一旦报警就能知道。一般

最低0.47元/天 解锁文章
Flink常见面试题
2301_79362607的博客
12-01 1877
基于本地集合的source（Collection-based-source）基于文件的source（File-based-source）基于网络套接字（socketTextStream）SourceFunction:非并行数据源(并行度只能=1) --接口RichSourceFunction:多功能非并行数据源(并行度只能=1) --类ParallelSourceFunction:并行数据源(并行度能够>=1) --接口。
干货 | 13道精选Flink面试题
大数据梦想家
01-26 5776
        相信小伙伴们对于Flink一定不会感到陌生，作为连续三年蝉联第一，荣膺全球最活跃的 Apache 开源项目，Flink在中国的热度也一直是居高不下。近几年，在社区的推动下，Flink 技术栈在越来越多的公司开始得到应用，因此在大数据的求职招聘中，对于Flink的着重考察也变得越来越重要。本期文章，菌哥就带大家来总结一下，在面试过程中，Flink常被问到的知识点有哪些？如果本文对你有帮助，记得在看完之后，一键三连(
Flink
weixin_41767872的博客
05-20 1879
Flink 是一个面向流处理和批处理的分布式数据计算引擎，能够基于同一个Flink运行，可以提供流处理和批处理两种类型的功能。在 Flink 的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流：这就是所谓的有界流和无界流。
Flink面试常见问题（实战）
u011250186的博客
03-24 831
一、如何排查生产环境中的反压问题？ 1、反压出现的场景 反压经常出现在促销、热门活动等场景。短时间内流量陡增造成数据的堆积或者消费速度变慢。 它们有一个共同的特点：数据的消费速度小于数据的生产速度。 2、反压监控方法 通过Flink Web UI发现反压问题 Flink 的 TaskManager 会每隔 50 ms 触发一次反压状态监测，共监测 100 次，并将计算结果反馈给 JobManager，最后由 JobManager 进行计算反压的比例，然后进行展示。 这个比例展示逻辑如下：...
Flink常见的面试题
大数据进阶之路
04-26 2270
Flink常见的面试题 1. Flink-On-Yarn的两种架构 问题：Flink-On-Yarn常见的提交模式有哪些，分别有什么优缺点？ 解答： flink在yarn模式下运行，有两种任务提交模式，资源消耗各不相同。 1. yarn-session yarn-session这种方式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间后，资源永远保持不变。如果资源满了，下一个就任务就无法提交，只能等到yarn中其中一个作业完成后，释放了资源，那下一个作业才会正常提交，这种方式资源被限制在sessi
Flink 常见面试题
weixin_46580067的博客
06-14 6466
Flink 常见面试题
Flink 面试题总结及答案
csdn问鼎
03-04 921
即使状态数据存储在 RocksDB 中，检查点的元数据和可能的状态快照（如增量快照）仍然需要被保存到文件系统中。这样，无论作业的状态数据存储在哪里，检查点数据都可以从这个目录中恢复。：配置检查点目录为 Flink 提供了一个统一的配置点，无论使用哪种状态后端，都可以在同一个配置文件中指定检查点的存储位置。：使用 RocksDB 作为状态后端可以有效地管理状态数据的内存，避免了因为状态数据过大导致内存不足的问题。对于处理大量数据和需要快速访问状态的应用场景，RocksDB 提供了比内存状态后端更好的性能。
Flink面试题
tianhouquan的专栏
02-10 2284
flink面试常见问题
flink常见面试题和答案
smile6868的博客
09-23 1611
Client是Flink程序提交的客户端，当用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群中处理，所以Client需要从用户提交的Flink程序配置中获取JobManager的地址，并建立到JobManager的连接，将Flink Job提交给JobManager。而 Flink 的 Checkpoint 机制要复杂了很多，它采用的是轻量级的分布式快照，实现了每个算子的快照，及流动中的数据的快照。
Flink常见面试题整理
LUyan10086的博客
08-15 939
将无限数据流切割成有限的“数据块”进行处理，即为所谓的窗口。什么是Flink中的窗口。
Flink常见面试题总结（全是干货哦！！！）
weixin_43520450的博客
09-20 9204
Flink常见面试题总结1、面试题一：应用架构2、面试题二：压测和监控3、面试题三：为什么用 Flink4、面试题四：checkpoint 的存储5、面试题五：exactly-once 的保证6、面试题六：状态机制7、面试题七：海量 key 去重8、面试题八：checkpoint 与 spark 比较9、面试题九：watermark 机制10、面试题十：exactly-once 如何实现11、面试题十一：CEP12、面试题十二：三种时间语义13、面试题十三：数据高峰的处理 更多关于Flink的详细内容请查
Flink常见的面试问题汇总
chbxw
07-09 2903
文章目录11.1．面试题一：应用架构，公司怎么提交的实时任务，有多少 Job Manager？11.2．怎么做压力测试和监控？11.3、为什么使用 Flink 替代 Spark？11.4、Flink 的 checkpoint 存在哪里？11.5、问题：如果下级存储不支持事务，Flink 怎么保证 exactly-once？11.5.1、Flink 中 exactly-once 语义是如何实现的，状态是如何存储的？11.6、问题：说一下 Flink 状态机制？11.7、怎么去重？考虑一个实时场景：双十一场景，
Flink 常考面试题
Tattoo的博客
04-10 2561
这里写目录标题WaterMark 的理解exactly-once 的保证state 有几种状态参考 WaterMark 的理解 exactly-once 的保证 state 有几种状态 参考 Flink面试题
Flink常见面试问题(附答案)
热门推荐
04-07 1万+
​Apache Flink是一个开源的流处理和批处理框架，可以实现快速、可靠、可扩展的大数据处理。​​窗口是Flink中用于对无限数据流进行有界处理的机制。它将无限流切分为有限的、不重叠的块，并对每个窗口进行计算。​。
大数据-flink常见面试题
FFFSSSFFF6的博客
08-31 811
1. flink checkpoint了解吗？ 2. flink反压了解吗？如何处理反压？ 3. flink水印说说？ 4. flink重启策略。默认有什么问题？ 5. flink 部署模式有哪些？ 6. flink的监控页面，有了解吗，主要关注那些指标？ 7. flink集群规模， 数据量 8. flink作业，flink参数配配置 9. flink 并行度 、slot区别 10 . flink state状态 11. flink 状态后端分类，增量checkpoint 12. flink s
flink进阶篇-12-常见面试问题汇总
q287573145的博客
04-12 435
1．应用架构 问题：公司怎么提交的实时任务，有多少 Job Manager、Task Manager？ 解答： 1）我们使用 yarn session 模式提交任务，该方式特点：每次提交都会创 建一个新的 Flink 集群，为每一个 job 提供资源，任务之间互相独立，互不影响， 方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下： bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.. -nm - -d 其中申请 7 个
Flink 常见面试汇总
Aying_seeyou的博客
07-20 625
面试题一：应用架构 问题：公司怎么提交的实时任务，有多少 Job Manager？ 解答： 我们使用 yarn session 模式提交任务。每次提交都会创建一个新的 Flink 集群，为每一个 job 提供一个 yarn-session，任务之间互相独立，互不影响， 方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下： bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.*.* -nm *-* -d 其中申请 7 个 t
flink 面试题
最新发布
08-06
### Flink 的 Checkpoint 机制及其工作原理 Flink 的 Checkpoint 机制是其容错能力的核心，旨在确保在发生故障时能够恢复状态并保证 Exactly-Once 处理语义。该机制通过周期性地对作业的状态进行快照，并将其存储到可靠的持久化存储系统中，例如分布式文件系统（如 HDFS）或对象存储（如 S3）[^3]。 在 Checkpoint 过程中，Flink 使用一种称为 **checkpoint barrier** 的机制来标记数据流中的检查点位置。这些 barrier 被插入到数据流中，并随着数据流传播到所有算子。每个算子在接收到 barrier 后，会触发本地状态的快照操作，并将当前状态写入持久化存储。在分布式快照过程中，Flink 使用 **Chandy-Lamport 算法** 的变种来确保全局一致性[^1]。 ### Checkpoint 流程 1. **触发 Checkpoint**：JobManager 定期发送 Checkpoint 触发消息给所有 Source Task。 2. **插入 Barrier**：Source Task 接收到触发消息后，在其输出流中插入一个 barrier，该 barrier 将数据流划分为不同的 Checkpoint 阶段。 3. **传播 Barrier**：Barrier 随着数据流传播到下游 Task。 4. **本地快照**：每个 Task 在接收到 barrier 后，会暂停处理后续数据，直到当前 barrier 所属 Checkpoint 的所有上游 barrier 都被接收。然后，该 Task 对本地状态进行快照，并将快照信息写入外部存储。 5. **确认完成**：Task 完成快照后，向 JobManager 发送确认信息。 6. **完成 Checkpoint**：当 JobManager 收到所有 Task 的确认信息后，本次 Checkpoint 完成。 ### Checkpoint 的功能 Flink 的 Checkpoint 机制主要用于实现以下功能： - **Exactly-Once 语义**：确保每条数据仅被处理一次，即使在故障恢复时也能避免数据丢失或重复。 - **状态一致性**：在作业失败时，能够恢复到最近一次 Checkpoint 的状态，确保状态的一致性。 - **容错能力**：通过持久化状态，Flink 能够在发生故障时从 Checkpoint 恢复，从而提高系统的可用性[^3]。 ### Barrier 机制 Checkpoint barrier 是 Flink 分布式快照的核心机制，它用于标识 Checkpoint 的边界。每个 barrier 对应一个特定的 Checkpoint ID，并且会随着数据流传播到所有算子。Barrier 机制确保所有算子在接收到 barrier 后，能够正确地进行状态快照，并且不会将属于不同 Checkpoint 的数据混合在一起[^1]。 ### 分布式快照算法及其工作原理 Flink 的分布式快照算法基于 Chandy-Lamport 算法，该算法通过插入 barrier 来协调所有 Task 的状态快照。具体工作原理如下： 1. **Barrier 插入**：JobManager 触发 Checkpoint 后，Source Task 在输出流中插入 barrier。 2. **Barrier 传播**：Barrier 随着数据流传播到下游 Task。 3. **状态快照**：每个 Task 在接收到 barrier 后，暂停处理后续数据，直到所有上游 barrier 都被接收。然后，Task 对本地状态进行快照，并将快照信息写入外部存储。 4. **Barrier 对齐**：为了确保状态一致性，Flink 会进行 barrier 对齐操作，即等待所有上游输入流的 barrier 到达后，才进行快照操作。 ### 数据不丢失的保证机制 Flink 通过以下方式确保数据在处理过程中不丢失： - **状态持久化**：通过 Checkpoint 机制，Flink 将状态定期写入可靠的持久化存储系统，确保在发生故障时能够恢复状态。 - **Exactly-Once 语义**：Flink 使用两阶段提交协议（Two-Phase Commit, 2PC）确保端到端的 Exactly-Once 语义，避免数据重复或丢失。 - **Barriers 对齐**：在 Checkpoint 过程中，Flink 会进行 barrier 对齐操作，确保所有输入流的 barrier 到达后才进行状态快照，从而保证状态的一致性[^2]。 ```java // 示例：Flink Checkpoint 配置 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(5000); // 每5秒触发一次 Checkpoint env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(2000); // 最小间隔为2秒 env.getCheckpointConfig().setCheckpointTimeout(60000); // Checkpoint 超时时间为60秒 env.getCheckpointConfig().setMaxConcurrentCheckpoints(1); // 最大并发 Checkpoint 数量为1 env.getCheckpointConfig().enableExternalizedCheckpoints(ExternalizedCheckpointSettings.RETAIN_ON_CANCELLATION); ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值