Flink基础学习（一）

最新推荐文章于 2025-05-19 17:53:22 发布
最新推荐文章于 2025-05-19 17:53:22 发布
阅读量231 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： flink学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangsiting123/article/details/105824192

窗口分类

1、Time-based Window（基于时间窗口）

  • Tumbling window
  • Sliding window

2、Count-Based Window（基于数量窗口）

  • Tumbling window
  • Sliding window

3、Session Window

4、全局窗口
翻滚数量窗口与翻滚时间窗口
滑动时间窗口与滑动数量窗口
会话窗口

时间

  • ProcessTime（处理时间）
    执行操作的机器的当前系统时间（每个算子不一样）
  • EventTime（事件事件）
    事件生成时的事件，在进入flink时已经存在，可以在event的字段中抽取
  • IngestionTime（摄入时间）
    事件进入flink的时间，即在source里获取的当前系统时间，后续操作统一使用该时间
    flink中用到的时间
[Flink基础]---- Flink学习规划（初级）
欢迎来到我的博客，一起探索代码里的世界！
09-26 2086
都言：“光说不练假把式”，但个人觉得打牢基础是非常必要的！适当通过 ”理论 + 实践 “ 的结合，可能效果更好！一直唠嗑着要好好学学 Flink，也没有系统地去弄，这次来真的了。 Apache Flink 学习目录 1、Flink 介绍 1.1 关于Apache Flink 1.2Flink 和 Spark 的对比 1.3怎样在Flink社区做贡献 1.4 Flink ...
Flink的学习
weixin_48699240的博客
09-08 692
1.0 Flink的简介 Flink是什么 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. 快速灵巧 为什么选择Flink 流数据更真实地反映了我们的生活方式 传统的数据架构是基于有限数据集的(因为批处理数据更简单) 我们的目标是低延迟 高吞吐 结果的准确性和良好的容错性 lamb
flink入门_Flink 基础入门（一看就会）
weixin_39861734的博客
11-21 4513
前言Spark Streaming 准确来说算是一个微批处理伪实时的做法，可是 Flink 是真的来一条就会处理一条，而且在 Spark Streaming 和 Kafka 进行整合时我们需要手动去管理偏移量的问题，而在 Flink 当中，它就会自动地去帮助我们去管理。而且 Flink 的算子比 Spark Streaming 的丰富多了，Flink是未来的趋势，起码我是这么认为的一、Flink基...
Flink学习1-Flink基础概念
qq_40342691的博客
05-11 577
什么是Flink? 这里我们需要了解一个概念“流处理”。在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是当你分析数据时，可以围绕 有界流（bounded）或 无界流（unbounded）两种模型来组织处理数据，当然，选择不同的模型，程序的执行和处理方式也都会不同。 有界流可以用“批处理”程序来处理，在计算结果输出之前输入整个数据集来进行排序、汇总统计，然后再输出结果。 无界流就用“流处理”程序来处理
Flink 快速入门
最新发布
qq_45469225的博客
05-19 2024
本文详细介绍了Apache Flink的系统架构和核心概念，适合深入学习和理解Flink的开发者。文章以Standalone会话模式为例，详细解析了Flink的作业提交和执行流程，包括客户端、JobManager、TaskManager等组件的功能与交互。JobManager作为任务管理和调度的核心，包含JobMaster、资源管理器和分发器三个组件，分别负责作业管理、资源分配和任务分发。TaskManager则是实际执行任务的进程，负责数据流的具体计算。文章还介绍了如何在本地IDEA中运行Flink程序并
Flink入门学习
white_bird_shit的博客
01-31 2204
Flink学习 官网: https://flink.apache.org/ 1. Flink简介 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments, perform com
Flink基础教程-----学习笔记
热门推荐
loredp的博客
01-20 1万+
Flink基础教程 Flink，Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。 Flink是如何实现批处理和流处理？Flink 将批处理（即处理有限的静态数据）视作一种特殊的流处理。 Flink技术栈的核心组成部分，如下图： DataStream API 可以流畅地分析无限数据流，并且可以用Java 或者Scala 来实现。开发人...
零基础入门Flink，掌握基本使用方法
qq_46248151的博客
11-20 2713
首先来讲，Flink是一个面向数据和的分布式开源计算框架。那么，流处理和批处理分别处理什么样的数据呢，这就涉及两个概念-任何类型的数据都可以形成，比如用户交互记录， 传感器数据，事件日志等等。Apache Flink 擅长处理无界和有界数据集。精确的时间控制和有状态的计算，使得 Flink能够运行任何处理流数据分为无界流和有界流。
Flink基础教程Flink基础教程
05-23
**Flink基础教程** Flink是Apache软件基金会下的一个开源流处理框架，它专注于实时数据流分析，同时支持批处理，提供低延迟、高吞吐量的数据处理能力。本教程将深入浅出地介绍Flink的基本概念、核心功能以及如何...
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf
03-25
《剑指大数据——Flink学习精要（Java版）》（最终修订版）是一本关于Flink大数据处理框架的深入学习指南。Flink是一个开源大数据处理框架，由Apache软件基金会旗下，已经成为国内外各大公司大数据实时处理的主要...
Flink基础教程.rar
09-15
《Flink基础教程》 Apache Flink是一款开源的流处理和批处理框架，它在大数据实时处理领域扮演着重要角色。本教程旨在帮助初学者快速掌握Flink的基础知识，包括其核心概念、API使用以及常见应用场景。 一、Flink...
Flink入门（更新中）
weixin_45440484的博客
07-23 1280
1.图片介绍低延迟高吞吐内存计算弹性实施部署机制高可用配置保存点恢复机制exactly-once 状态一致性事件时间处理专业的迟到数据处理2.对比mapreduce相似性都是大数据处理框架，都提供了一套编程模型和API，使得开发人员能处理大规模数据集。分布式处理：都支持分布式处理，即数据可以在多个节点上并行处理。在MapReduce中，作业被拆分成多个map任务和reduce任务，这些任务在集群的多个节点上并行执行。
Flink学习笔记 一（flink入门）
wx740851326的博客
10-18 1081
1.我们通常将数据分成无界数据集和有界数据集。 在我们的生活当中，只要还在持续不断的产生或者变化，这样的数据集我们都说它是无界数据集。 2.我们通常将计算方式分成两种： 第一种是实时的，我们也称之为流式处理 第二种是离线的，我们也称之为批处理 这个两种计算方式在某种意义上是可以相互替代的，只是选择是否最佳的问题。 例如我们可以不停的调用批处理任务来处理流式的数据，也可以通过调整流处理的...
Flink学习
kevin_琪琪的博客
05-20 1050
Flink 1.Flink 简介 1.Flink 是什么 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 2.Flink 的全球热度 3.Flink 目前在国内企业的应用 4.Flink
Flink 学习（一）
weixin_30266829的博客
11-29 210
摘自Flink官网https://flink.apache.org/ 最近看到公司有Flink平台，正好做过storm和spark streaming上的业务，借着这个机会把flink也学了。正好比较下他们之间的优缺点。 一、流式处理平台 1.Storm Topology为处理拓扑图 组成： (1)Spout. 数据分发中心。 (2)Bolt. 数据处理中心 数据单元为T...
Flink 的学习笔记
weixin_45866849的博客
07-19 1815
​Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一个研究性项目。早期，Flink是做Batch计算的，但是在2014年，StratoSphere里面的核心成员孵化出Flink，同年将Flink捐赠Apache，并在后来成为Apache的顶级大数据项目，同时Flink计算的主流方向被定位为Streaming，即用六十计算来做所有大数据的计算，这就是Flink技术诞生的背景。...
Flink学习笔记
06-30 492
文章目录Flink介绍Flink简介为什么要用flinkFlink技术特点flink基本架构构建项目Flink 部署及运行Flink基本概念Flink DataStream操作1. 分布式流处理的基本模型2. Flink DataStream程序结构3.DataStream操作4. 理解KeyedStream检查点保存检查点目录结构从保存的检查点恢复保存点savepoint 和 checkpoint 区别触发保存点checkpoint执行流程Checkpoint Expire 过期Checkpoint 的配
学习flink基础理论
03-15
<think>嗯，用户想了解学习Flink的基础理论。首先，我需要回忆一下Flink的核心概念和架构，确保信息准确。Flink作为流处理框架，流批一体的特点很重要，得重点说明。 用户可能刚接触大数据处理，需要从基础开始。首先应该介绍Flink的定义和定位，比如它是一个分布式处理引擎，支持有界和无界数据流。然后对比批处理和流处理，解释为什么Flink适合实时处理。 接下来是核心概念，比如DataStream和DataSet API，时间语义（事件时间和处理时间），窗口机制，状态管理，检查点与容错机制，以及水印。这些都是Flink的基础，必须逐一解释清楚，但要注意用简单易懂的语言。 可能用户对时间语义和窗口不太清楚，需要详细说明事件时间和处理时间的区别，以及窗口的作用。状态管理和容错机制是关键，尤其是检查点如何实现容错，可以提到Chandy-Lamport算法，但不用太深入。 架构部分，要提到JobManager、TaskManager、客户端等组件，以及任务调度流程。部署模式如Standalone、YARN、Kubernetes也是实际应用中常见的，需要简要介绍。 学习路径方面，建议用户先掌握基础概念，再学API，然后深入原理，最后实践项目。资源推荐官方文档和书籍，比如《Stream Processing with Apache Flink》，还有社区资源如邮件列表和Stack Overflow。 需要注意用户可能对某些术语不熟悉，比如水印或者检查点，要用例子或类比帮助理解。同时，避免使用太多技术细节，保持回答的易懂性。确保结构清晰，分点阐述，符合用户要求的步骤化解答。 最后，检查是否符合系统级指令，数学公式是否正确使用$符号，独立公式用$$，中文回答，结构清晰。确保LaTeX语法正确，比如时间语义部分如果有公式要用正确的格式。整体要逻辑连贯，覆盖用户需求的关键点。</think>学习 Apache Flink 的基础理论需要从以下几个核心方面逐步深入，以下是结构化讲解： --- ### 一、Flink 的定位与特点 $$ \text{Flink} = \text{分布式流处理引擎} + \text{有状态计算} + \text{Exactly-Once 语义} $$ 1. **流批一体** - 支持**有界数据（批处理）**和**无界数据（流处理）**的统一处理模型。 - 示例：同一段代码可处理实时数据流（如日志）和历史数据（如 CSV 文件）。 2. **低延迟与高吞吐** - 基于**流水线式执行引擎**，避免 MapReduce 的磁盘读写瓶颈。 3. **事件时间（Event Time）语义** - 以数据产生的时间戳（而非处理时间）为基准，解决乱序事件问题，公式化表示为： $$ \text{Event Time} = \text{数据自带时间戳} $$ --- ### 二、核心概念 1. **DataStream 与 DataSet API** - `DataStream`：处理无界流数据（如 Kafka 实时消息）。 - `DataSet`：处理有界批数据（已逐步被批式 DataStream 取代）。 2. **时间语义** - **事件时间（Event Time）**：数据产生的时间，需配合水印（Watermark）处理乱序。 - **处理时间（Processing Time）**：数据被处理时的系统时间。 - **摄入时间（Ingestion Time）**：数据进入 Flink 的时间。 3. **窗口（Window）机制** - 将无界流切分为有限块，常见类型： $$ \text{滚动窗口（Tumbling）} \quad \text{滑动窗口（Sliding）} \quad \text{会话窗口（Session）} $$ 4. **状态（State）管理** - **Operator State**：绑定到算子的并行实例（如 Kafka 消费偏移量）。 - **Keyed State**：按 Key 分区存储（如累加器的值）。 5. **检查点（Checkpoint）与容错** - 通过**分布式快照**实现 Exactly-Once 语义，依赖**Chandy-Lamport 算法**。 --- ### 三、架构与运行原理 1. **运行时架构** - **JobManager**：协调任务调度与检查点。 - **TaskManager**：执行具体任务，管理内存与网络通信。 - 客户端提交任务后生成**JobGraph**，优化为**ExecutionGraph**。 2. **任务调度** - 数据以**Pipeline 模式**流动，避免中间落盘。 - 并行度（Parallelism）计算公式： $$ \text{总并行度} = \text{TaskManager 数量} \times \text{每个 TaskManager 的 Slot 数} $$ 3. **部署模式** - **Standalone**：独立集群。 - **YARN/Kubernetes**：资源管理集成。 --- ### 四、学习路径建议 1. **基础理论** - 掌握流处理与批处理的区别，理解时间语义、窗口、状态管理。 2. **API 实践** - 从 `DataStream API` 入手，编写 WordCount、实时统计等示例。 3. **原理深入** - 研究检查点机制、反压（Backpressure）处理、内存管理。 4. **项目实战** - 结合 Kafka、HDFS 等组件构建端到端流水线。 --- ### 五、推荐学习资源 1. **官方文档** - [Apache Flink 官方文档](https://nightlies.apache.org/flink/flink-docs-stable/) 2. **书籍** - 《Stream Processing with Apache Flink》（O'Reilly） 3. **社区与论坛** - Flink 邮件列表、Stack Overflow 的 `apache-flink` 标签。 --- 通过以上步骤，您可以系统性地掌握 Flink 的核心理论与应用场景，后续可结合实际业务需求深入优化与扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值