Apache Flink连载（六）：Apache Flink快速入门 - Flink案例实现

原创 已于 2023-12-28 00:27:04 修改 · 1k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #flink #大数据

于 2023-12-04 08:00:00 首次发布
本文详细介绍了Apache Flink的批处理和流式处理案例，包括Java和Scala版本的WordCount实现。批处理使用ExecutionEnvironment和DataSet，流处理使用StreamingExecutionEnvironment和DataStream。文中还总结了Flink程序编写流程、上下文环境创建、批流处理的区别以及对DataSet API被软弃用的说明。

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客

 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频

目录

1. Flink 批数据处理案例

2. Flink流式数据处理案例

3. Flink批和流案例总结

数据源分为有界和无界之分，有界数据源可以编写批处理程序，无界数据源可以编写流式程序。DataSet API用于批处理，DataStream API用于流式处理。

批处理使用ExecutionEnvironment和DataSet，流式处理使用StreamingExecutionEnvironment和DataStream。DataSet和DataStream是Flink中表示数据的特殊类，DataSet处理的数据是有界的，DataStream处理的数据是无界的，这两个类都是不可变的，一旦创建出来就无法添加或者删除数据元。

1. Flink 批数据处理案例

  • Java 版本WordCount

使用Flink Java Dataset api实现WordCount具体代码如下：

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Flink连载（五）：Apache Flink快速入门 - 环境准备及入门案例
qq_32020645的博客
12-02 1054
学习一门新的编程语言时，往往会从“hello world”程序开始，而接触一套新的大数据计算框架时，则一般会从WordCount案例入手，下面以大数据中最经典入门案例WordCount为例，来编写Flink代码，Flink底层源码是基于Java代码进行开发，在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外，还可以使用Scala、Python语言来进行编写Flink程序，在后续章节中我们将会主要使用Java和Scala来编写Flink程序。下面来准备下Flink开发环境。
Apache Flink连载（七）：Apache Flink快速入门 - DataStream BATCH模式
qq_32020645的博客
12-06 788
关于Flink集群提交任务及Flink flink-conf.yaml配置文件在下个章节集群搭建会进行介绍。以上代码运行完成之后结果如下，可以看到结果与批处理结果类似，只是多了对应的处理线程号。🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
【Flink 基础篇】深入浅出 Apache Flink：架构、案例和优势
Code · Cloud · Think · Repeat
01-14 8160
总的来说，Apache Flink 有几个显著的优点，使其成为当今最流行的分析引擎之一。它的速度快如闪电，是一个分布式系统，能以容错的方式处理批处理和流式数据，还能处理大型数据集，这些优点使它成为各种应用的理想选择。
Apache Flink详解：流处理与批处理的强大框架
微笑听雨
06-18 6371
Apache Flink是一种功能强大的流处理框架，适用于各种实时数据处理场景。其高性能、容错能力和灵活的时间处理特性，使其成为大数据处理的重要工具。通过对流和批处理的一体化支持，Flink为开发者提供了统一的数据处理平台。
大数据-107 Flink Apache Flink 入门全解：流批一体的实时计算引擎 从起源到技术特点的全面解析
永远好奇 无限进步
08-29 5576
Apache Flink 是一个开源的大数据流处理框架，支持无界流和有界批数据的高效计算，以“流批一体”为核心理念，将批处理视为流处理的特例。其具备高性能、分布式执行和弹性扩展能力，能够在 YARN、Kubernetes 等集群环境中运行，广泛应用于实时 ETL、复杂事件处理、在线分析与监控预警等场景。Flink 起源于 2008 年柏林工业大学 Stratosphere 项目，2014 年进入 Apache 基金会并迅速发展为顶级项目，被阿里巴巴、Uber、Netflix 等公司大规模使用。技术上，它支持
Apache Flink 2.0-preview released
Ververica的博客
10-24 2617
Apache Flink 社区正在积极准备 Flink 2.0，这是自 Flink 1.0 发布 8 年以来的首次大版本发布。作为一个重要的里程碑，Flink 2.0 将引入许多激动人心的功能和改进，以及一些不兼容的破坏性变更。为了促进用户和上下游项目（例如，连接器）尽早适配这些变更，提前尝试这些令人兴奋的新功能同时收集反馈，我们现在提供了 Flink 2.0 的预览版本。Flink 2.0 预览版不是稳定版本，请不要应用于生产环境。
Apache Flink：实时流处理与批处理的统一框架
热门推荐
聚焦于深度解析最新的编程语言特性、框架升级、架构设计、开发工具和最佳实践，涵盖Web前端（如Vue3, React, Angular等）、后端开发（如Node.js, Java, Python等）、移动端开发（iOS, Android原生及跨平台开发）
04-02 8万+
Apache Flink是一个强大的实时流处理和批处理框架，它打破了传统流处理和批处理的界限，提供了一个统一的平台来处理各种类型的数据。通过其精确一次的状态一致性、高吞吐量、低延迟等特性，Flink已经被广泛应用于各种实时分析和批处理任务中。
Apache Flink CDC 3.1.0版本知识学习
zhengzaifeidelushang的博客
05-24 2855
相比于 Flink SQL Changelog 格式，Flink CDC 不会将数据更新事件拆分为 BEFORE 和 AFTER 两条记录，能够更高效地处理分区表场景，并支持将事件序列化为 Debezium 和 Canal JSON 格式。相比于使用 Flink SQL 和 Paimon CDC Action 的同步方案，Flink CDC Pipeline 作业支持将上游表结构变更动态应用至下游，且进一步支持了对上游表进行列投影和行过滤，提供细粒度的数据路由规则，追加计算列的逻辑配置更加简单。
Apache Flink漏洞复现
YJ_12340的博客
06-20 1574
Apache Flink 是高效和分布式的通用数据处理平台，由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎（简单来说，就是跟spark类似）。Flink 具有监控 API，可用于查询"正在运行的jobs" 和 "最近完成的jobs" 的状态和统计信息。该监控 API 被用于 Flink 自己的dashboard，同时也可用于自定义监控工具，默认监听在8081端口。
Apache Flink从入门到放弃——Flink简介（一）
LXWalaz1s1s的博客
05-03 8440
Apache Flink是一个分布式大数据计算引擎，可以对有界的数据和无界的数据进行有状态的计算，可部署在各种集群环境中，对各种大小数据规模进行快速计算，本章节主要介绍下Flink的历史和由来以及框架基础。............
官宣｜Apache Flink 1.18 发布公告
Ververica的博客
10-27 4242
Apache Flink PMC 已正式发布 Apache Flink 1.18.0 版本。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 174 人为此版本做出了贡献，完成了 18 个 FLIPs 和 700 多个问题。感谢各位贡献者的支持！Tips：点击「阅读原文」免费领取 5000CU*小时 Flink 云资源迈向 Streaming LakehouseFlink SQL ...
Apache Flink未授权漏洞学习
weixin_42051376的博客
06-17 1730
Apache Flink存在严重未授权访问漏洞(CVE-2020-17518/17519)，攻击者可利用Web Dashboard(默认8081端口)无需认证上传恶意JAR文件或构造路径遍历Payload，实现远程代码执行(RCE)或敏感文件读取。漏洞影响版本包括1.5.1-1.11.2，利用工具如Metasploit可轻易获取服务器Root权限。修复方案包括升级至1.11.3+版本、启用身份认证、限制网络访问及关闭JAR上传功能等。该漏洞风险极高，运维人员需立即排查并加固相关系统。
精选资源
flink-benchmarks:Apache Flink的基准
04-17
-Dbenchmarks="org.apache.flink.state.benchmark.*" 如果您只想执行一个基准测试，最好的方法是手动执行选定的主要功能。 主要有两种方法： 从您的IDE（有一个Intellij IDEA插件）。 在这种情况下，请不要忘记...
精选资源
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是...
大数据时代时序数据库选型指南：为何Apache IoTDB成为物联网场景首
小相探索IT世界
01-08 719
时序数据库选型面临物联网、工业互联网等场景下海量数据处理的挑战。本文对比分析了主流时序数据库的核心维度：InfluxDB适合中小规模监控场景，TimescaleDB兼容SQL但性能有限，OpenTSDB扩展性强但架构复杂。重点推荐专为物联网设计的Apache IoTDB，其树状数据模型贴合工业场景，具备千万级写入吞吐量、10:1高压缩比和端边云协同架构。
如何在 CentOS 7 上通过调优 Apache Tomcat 配置，提高高并发电商网站的性能？
A5互联
01-04 717
在电商高峰期（如双十一、双十二、黑五等促销活动期间），网站需要承载大量并发访问请求，如何在现有硬件条件下，通过合理调优 Apache Tomcat，使其在 CentOS 7 上稳定支撑高并发负载，是提升电商平台性能的核心运维技术之一。A5数据在本文中基于实际生产环境案例，以具体参数、技术细节、实现方法和性能评测为导向，逐步讲解如何从 Tomcat 配置、JVM 参数、操作系统内核和网络层面进行全面优化。
Linux-Web服务（Apache）
Maggie_ssss_supp的博客
01-05 596
Apache HTTP Server（简称Apache）是Apache软件基金会的一个开源的web服务器，Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。1.主配置目录：/etc/httpd/conf/2.子配置目录：/etc/httpd/conf.d/2.默认发布目录：/var/www/html/3.默认监听端口：804.检查是否有语法问题：httpd -t。
Apache SeaTunnel 2025 案例精选重磅发布！
最新发布
weixin_54625990的博客
01-08 202
🎉哇塞！《2025 年 Apache SeaTunnel 案例精选集》 闪亮登场啦！免费领取通道开启，限时 7 天，手快有手慢无哦，宝子们冲呀！
Spring Security 与 Apache Shiro 两大安全框架比较
lizhengyu891231的博客
01-04 592
Spring Security 与 Apache Shiro 两大安全框架比较
Apache Flink入门指南：实时流处理详解
《Apache Flink入门指南》是一本由Data Artisans公司出品的专业小册子，由Ellen Friedman和Kostas Tzoumas撰写，旨在为读者提供对Apache Flink流处理技术的深入理解和实用指导。这本书适合快速学习者，特别是那些...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值