Flink入门教程--Component Stack

最新推荐文章于 2023-03-17 17:10:43 发布
翻译 最新推荐文章于 2023-03-17 17:10:43 发布 · 658 阅读 · 0
文章标签：

#软件 #dataset #数据

本文介绍了Apache Flink作为一款先进的流处理框架的分层架构。从Runtime层接受JobGraph形式的程序开始，到DataStreamAPI和DataSetAPI如何通过编译生成JobGraphs，再到最终程序的执行方式，文章详细阐述了Flink的内部组件和技术细节。

原谅链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/components.html#component-stack

作为一个软件解决方案，Flink是一个分层系统。不同层次之间彼此构建，并提高他们接受的程序表现的抽象级别：

  • 在Runtime 层中接受JobGraph形式的程序。JobGraph是一个具有消耗和产生数据流的任意通用并行数据流。
  • DataStream API和DataSet API都能通过编译生成JobGraphs程序。DataSet API使用optimizer ，DataStream API使用stream builder，来确定程序的最佳执行方式。
  • JobGraph根据Flink中可用的各种部署选项（例如本地，远程，YARN等）来执行程序 。
  • 使用与Flink捆绑在一起的Libraries 和API生成DataSet或DataStream API程序，这些程序是用于查询的逻辑表、Flink机器学习、和用于图形处理的Gelly。

这里写图片描述

数据预处理：大数据挖掘中不可忽视的关键步骤
AI天才研究院
05-11 657
在大数据挖掘流程中，原始数据通常存在质量缺陷（如缺失、噪声、不一致）、结构差异（多源数据格式不统一）、维度灾难（高维数据冗余）等问题。据Gartner统计，数据科学家80%的时间消耗在数据预处理阶段，而非模型开发。本文聚焦数据预处理的核心技术体系，包括数据清洗、集成、转换、归约、特征工程五大模块，覆盖从数据接入到建模输入的完整链路，适用于结构化、半结构化及非结构化数据场景。
解读大数据领域 Eureka 的健康检查机制
最新发布
AI架构全栈开发实战笔记
09-15 1190
一个Flink实时处理集群有10个JobManager节点，如何让调度系统只把任务发给活着且能工作的节点？一个Presto查询集群有100个Worker节点，如何快速排除已经挂掉或卡死的节点？Eureka的健康检查机制就是解决这类问题的"核心工具"——它像一个"智能花名册"，实时记录所有服务实例的状态（“在岗"还是"离岗”），让大数据系统能精准找到可用的服务。Eureka健康检查的核心概念（心跳、状态、自我保护）；健康检查的工作流程（从注册到下线的全链路）；大数据场景下的实战配置。
Flink入门教程
04-15
根据Flink官网翻译的中文教程，同时自带了入门Demo教程
Flink内部架构（Internals）- Component Stack（基础组件架构）
主要写大数据集群一线运维和学习工作经验
10-15 300
作为一个流批一体架构，Flink是一个分层的系统。堆栈的不同层相互构建，并提高它们接受的程序表示的抽象级别： runtime 以 JobGraph 的形式接收处理程序。JobGraph 是一个公用的数据流载体，有生产和消费数据流的任务。 DataStream API 和 DataSet API 都通过单独的编译生成JobGraphs，DataSet API 使用优化器来确定程序的最佳计划，而...
适合新手的Flink入门教程
热门推荐
3y
11-26 1万+
看了这篇，再看官网就轻松了。
Flink基础教程
qq_27639777的博客
09-02 1477
文章目录第1章 为何选择Flink第2章 流处理架构2.2 消息传输层和流处理层2.3 消息传输层的理想功能2.3.1 兼具高性能和持久性2.3.2 将生产者和消费者解耦2.4 支持微服务架构的流数据2.4.1 数据流作为中心数据源第4章 对时间的处理4.1 采用批处理架构和Lambda架构4.2 采用流处理架构4.3 时间概念4.4 窗口4.4.1 时间窗口4.4.2 计数窗口4.4.3 会话窗口4.4.4 触发器4.4.5 窗口的实现4.5 时空穿梭4.6 水印第5章 有状态的计算5.2 检查点：保证e
Wi-Fi驱动层日志解码术：从esp_log_level_set看懂底层调试的4个关键层级
!...# 1. Wi-Fi驱动日志系统的核心作用与架构解析 在嵌入式Wi-Fi开发中，日志系统是诊断连接异常、性能瓶颈和协议错误的关键工具。Wi-Fi驱动日志不仅记录了从物理层扫描到网络层关联的完整状态变迁，还暴露了底层硬件...
Spring Cloud Stream 是 Spring 家族中用于构建消息驱动微服务的重要组件
BLOG域名:programb.blog.youkuaiyun.com
03-01 477
Spring Cloud Stream 是 Spring 家族中用于构建消息驱动微服务的重要组件。它提供了一种简单的方式来构建响应式的 Spring 应用程序，这些应用程序可以与消息中间件进行集成，如 RabbitMQ、Kafka 和 Redis 等。
flink入门教程
weixin_34199171的博客
03-22 2058
备注：本地demo仅用作记录，对于其他类似demo类似，并无特别之处。 demo地址：https://github.com/pacteralhw/flink_demo.git 本地部署，启动flink ./bin/start-clusrer.sh flink提交任务 方式1. 在linux服务器提交：./bin/flink run -c flinkMain --port 9000 --host localhost 方式2. 在页面提交 socket输入流 nc -lk 9000 ...
Flink1.6系列之—Component Stack概述
weixin_30767921的博客
09-20 277
Flink作为一个软件栈，是一个分层系统。栈的不同层相互叠加，并提高它们接受的程序表示的抽象级别： 运行时（runtime）层以JobGraph的形式接收程序。JobGraph是一个通用的并行数据流，其中包含消费数据流和生成数据流的任务。 DataStream API和DataSet API都可以通过各自的编译过程生成JobGraphs。DataSet API使用优化器（opti...
flink教程
杜海的博客
12-31 401
flink教程地址 https://flink.sojb.cn/tutorials/local_setup.html 在 Windows 上安装和运行 Flink https://www.liujiajia.me/2019/9/4/install-and-run-flink-on-windows flink实例-wordcount详细步骤 https://www.cnblogs.com/...
Flink教程
littlely_ll的博客
06-25 553
这是一部讲解Flink的通俗教程，语言可能不够优雅，但力争讲的明白，如果您在浏览的时候有什么迷惑的地方，您可以大胆的提出issue，这样我可以及时修改，但是您不要指望讲解的有多么深入，因为这只是一个入门的Flink教程，不过我会尽量讲清楚重要的知识点，并以通俗易懂的形式展现出来。另外欢迎大家能够贡献内容！本教程使用Scala语言进行讲解，使用的Flink版本为1.10.0。内容逐步更新！ Summary 前言 第一章 Apache Flink简介 1.1 Flink介绍 1.2 Flink编程模型
Spring Boot 注解实现 Redis 多个库的切换
扛麻袋的少年的博客
04-08 2274
Spring Boot 学习笔记(三十四)： SpringBoot，基于注解，来实现Redis 0-15 个库的切换。 代码：     SpringBoot使用注解实现 Redis 数据库的切换
《flink基础教程》笔记
yang灬仔
10-20 348
第一章：为何选择flink 1.2 流处理应用： 对数据进行高吞吐、低延迟和准确的处理，比如银行的24小时金融服务，需要及时检测出用户行为异常的应用程序；电信行业，如果不能很好地处理流数据，就不能在某个移动通信基站出现流量高峰前预先将流量分配给其他基站。 除了低延迟和高吞吐，流处理框架还应该有效的处理异常中断，以及对外预警。 1.3 流处理技术演变 Storm（先锋）很难实现高吞吐。【P1...
Flink教程（三）——基本API定义
rocketluoqq的博客
12-11 198
开发十年，就只剩下这套架构体系了！ >>> ...
Flink之教程
SuperBoy_Liang的博客
03-17 899
本教程介绍了Flink的基本概念、架构、数据处理模式和常用API，并提供了详细的案例和图片。Flink是一个强大的流处理引擎，可以用于处理实时数据和批量数据，具有高性能和可扩展性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值