【Flink on k8s】- 2 - 简要介绍 Kubernetes

原创 已于 2023-12-06 16:38:02 修改 · 732 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubernetes #容器 #云原生

于 2023-12-05 14:45:30 首次发布
本文介绍了Kubernetes的起源、历史版本演进，详细阐述了其主要特性和优势，包括自动装箱、自我修复、水平扩展等，并探讨了在企业中的应用和未来发展趋势。

目录

一、Kubernetes 概述

二、历史版本演进

三、相对主要的优劣势

四、Kubernetes 的基本特性

（一）kubernetes 的特性

（二）Kubernetes 的主要特点

五、在企业中的应用场景

六、社区活跃度

七、未来发展

一、Kubernetes 概述

       Logo 的致意：Kubernetes 由 Joe Beda、Brendan Burns 和 Craig McLuckie 创立，并由其他谷歌工程师，包括Brian Grant 和 Tim Hockin 等进行加盟创作，并由谷歌在 2014 年首次对外宣布 。在谷歌内部，Kubernetes 的原始代号曾经是 Seven of nine，即星际迷航中的 Borg（博格人）。Kubernetes 标识中舵轮有七个轮辐就是对该项目代号的致意。

    &

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink on k8s】- 1 - Flink Kubernetes Operator 简介 2023
欢迎来到我的博客，一起探索代码里的世界！
03-22 1110
Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成，可以帮助用户快速定位和解决问题。Flink Kubernetes Operator可以在Kubernetes上实现高可用性，以确保 Flink 集群的稳定性和可靠性。Flink Kubernetes Operator 可以快速地部署 Flink 集群，而无需手动配置和管理集群。Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离，以避免资源争用和干扰。
flink实战--flink on k8s (Kubernetes)
阿华田的博客
10-19 5084
Flink on Kubernetes 的发展历史 在 Flink 的早期发行版 1.2 中，已经引入了 Flink Session 集群模式，用户得以将 Flink 集群部署在 Kubernetes 集群之上。随着 Flink 的逐渐普及，越来越多的 Flink 任务被提交在用户的集群中，用户发现在 session 模式下，任务之间会互相影响，隔离性比较差，因此在 Flink 1.6 版本中，推出了 Per Job 模式，单个任务独占一个 Flink 集群，很大的程度上...
Flink on K8s 概述
tianhouquan的专栏
04-26 2288
flink on k8s
Flink On K8s实践2:Flink Kubernetes Operator安装使用
homeofcm的专栏
04-10 2485
Apache Flink是当下主流了流式计算引擎，在企业的实时数仓、实时BI、数据湖、智能推荐和风险风控等场景中有广泛的应用。Apache Flink支持多种Resource Providers，也就是可以在多种资源平台上运行，本系列文章以当前热门的容器平台Kubernetes作为Flink的Resource Proivder，全面讲解如何在Kubernetes平台上以Flink Kubernetes Operator的方式运行Flink作业应用。
flink-kubernetes-operator 的简单使用
阿甘兄
02-13 4120
flink kubernetes operator 学习笔记
【Flink 核心篇】Flink on Kubernetes 原理剖析
Code · Cloud · Think · Repeat
02-12 3376
Node 为集群的一个操作单元，是 Pod 运行的宿主机。Node 节点里包含一个 Agent 进程，能够维护和管理该 Node 上的所有容器的创建、启停等。Node 还含有一个服务端 kube-proxy，用于服务发现、反向代理和负载均衡。Node 底层含有 docker engine，docker 引擎主要负责本机容器的创建和管理工作。
Flink部署：flink-on-kubernetes 实践
foureyes
09-30 2263
文章目录1. Mac 安装 Docker2. Minikube 搭建 Kubernetes 实验环境2.1 安装 Minikube3. Flink 实时处理 demo4. 构建 Docker 容器镜像5. 部署 JobManager6. 部署 TaskManager kubernetes 是目前非常流行的容器编排系统，在其之上可以运行 web 服务、大数据处理等各类应用。这些应用被打包在非常轻量的容器中，我们通过声明的方式来告知 kubernetes 要如何部署和扩容这些程序，并对外提供服务。flink o
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1374
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
【K8S】【flink on k8s】 之flinkcdc
九离的博客
07-24 1570
在Application部署模式下，Kubernetes会为每个提交的Flink作业单独创建一个Flink集群，这个Flink集群由JobManager Pod和TaskManager Pod组成，其中拟启动的TaskManager Pod的数量由Flink作业所需的slot数量和每个TaskManager所能提供的可用slot数量决定，例如一个Flink作业需要10个slot，每个TaskManager提供4个slot，那么Kubernetes就会启动3个TaskManager Pod。
【Flink基础】-- Flink CDC介绍
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
03-25 2万+
一、Flink CDC 是什么？ 2020年 Flink cdc 首次在 Flink forward 大会上官宣，由Jark Wu & Qingsheng Ren 两位大佬介绍，原始 blog 点击链接。 Flink CDC connector 可以捕获在一个或多个表中发生的所有变更。该模式通常有一个前记录和一个后记录。Flink CDC connector 可以直接在Flink中以非约束模式（流）使用，而不需要使用类似 kafka 之类的中间件中转数据。 ...
[Flink课程]---- 9.1 使用Ambari 搭建Flink 集群
欢迎来到我的博客，一起探索代码里的世界！
05-16 9911
1 前言 1.1 概览 Stateful Computations over Data Streams(数据流的状态计算) Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 在这里，我们解释了Flink架构的重要方面。 处理无界和有界数据 任何类型的数据都是作...
【Flink 基础】-- 如何设置 TaskManager、Solt和 Parallelism
欢迎来到我的博客，一起探索代码里的世界！
02-19 5256
一、概念理解 solt：把 slot 看做 cpu 的核一个slot一可以并行跑很多作业 并发度：一个算子有多少个运行实例 关系： slot数 = 最大并发度、一个slot一可以同时运行不同算子的一个实例 二、参数设置说明  计算 TaskManager 数量: 50/4 = 13 ， 13个TM一共可以提供13*4=52 个 slot。最大并发是50，只占了 50 slot，还剩下...
[Flink 学习] -- 编译 CDH-6.3.0 版本的 Flink 1.9.0
欢迎来到我的博客，一起探索代码里的世界！
10-17 5039
前言 由于 Apache Flink 的开源二进制包未提供 HDP、MapR和 CDH 的下载，所以，如果要兼容基于这些厂商的库编译 Apache Flink。本文主要介绍使用 CDH 的库进行编译 Apache Flink 1.9.0，希望对读者有所帮助。 内容 1、环境 Jdk 1.8、macOS10.14.6、Maven 3.6.2和Scala-2.11....
【Flink基础】-- 写入 Kafka 的两种方式
欢迎来到我的博客，一起探索代码里的世界！
04-20 4711
方式一：用 Robin 的方式写入 Kafka 1、实现 exactly-once 语义的 kafka sink，用 Robin 的方式写入 Kafka 2、randomRobin: 创建 FlinkKafkaProducer 时，指定空的 customPartitioner，flink 会把 一个 sink subtask 的数据以 round-robin 方式写入 kafka 的各个分区 ...
[大数据面试]-- 5.Flink 题目
欢迎来到我的博客，一起探索代码里的世界！
08-05 4114
========= 基础 ========= 1、Flink 的 抽象层次有几种 Stateful stream processing Core API Table SQL 2、Window 类型 (1)TimeWindow Tumbling Window(滚动窗口) Sliding Window(滑动窗口) Session Window(会话窗口) Global Wi...
[Flink课程]---- 2.2 DataSet API & DataStream API & Table & SQL API 的对比
欢迎来到我的博客，一起探索代码里的世界！
12-22 2761
说明 本文基于 Flink -1.6.0 版本进行整理和分析，如有不妥之处，敬请指正。 内容 一、Flink 的技术栈 图片来源：https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html 注意 Table API & SQL 统一了 DataStre...
[Flink基础]---- Flink学习规划（初级）
欢迎来到我的博客，一起探索代码里的世界！
09-26 2213
都言：“光说不练假把式”，但个人觉得打牢基础是非常必要的！适当通过 ”理论 + 实践 “ 的结合，可能效果更好！一直唠嗑着要好好学学 Flink，也没有系统地去弄，这次来真的了。 Apache Flink 学习目录 1、Flink 介绍 1.1 关于Apache Flink 1.2Flink 和 Spark 的对比 1.3怎样在Flink社区做贡献 1.4 Flink ...
【Flink】-- flink新版本发布：v2.0-preview1
最新发布
欢迎来到我的博客，一起探索代码里的世界！
11-13 2112
Apache Flink 社区已于2024-10-23发布了 Flink 2.0版本，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈。Flink 2.0 preview 版，而不是 stable 版本，所以请不要应用于生产环境。
[Flink基础]-- 1.4 与其他实时计算框架对比
欢迎来到我的博客，一起探索代码里的世界！
12-07 1970
对比其他计算框架 Spark Storm Flink Streaming Model Micro-batch Native Native Fault Tolerance RDD based checkpointing Record ACKs checkpoint Latency Medium Very Low Low Throughout High Low High ...
flink on k8s
11-18
＊＊＊s 上的部署方式有两种：Standalone 方式和 Native 方式。 1. Standalone 方式 Standalone 方式是 Flink 在 K8s 上最简单的部署方式，不需要对 Flink 做任何改动，同时 Flink 对 K8s 集群是无感知的，通过外部手段即可让 Flink 运行起来。具体操作可以参考 Standalone Session On K8s。 2. Native 方式 Native 方式是相对于 Flink 而言的，它可以借助 Flink 的命令就可以达到自治的一个状态，不需要引入外部工具就可以通过 Flink 完成任务在 K8s 上的运行。具体操作如下： - 资源申请方式：Flink 的 Client 内置了一个 K8s Client，可以借助 K8s Client 去创建 JobManager，当 Job 提交之后，如果对资源有需求，JobManager 会向 Flink 自己的 ResourceManager 去申请资源。这个时候 Flink 的 ResourceManager 会直接跟 K8s 的 API Server 通信，将这些请求资源直接下发给 K8s Cluster，告诉它需要多少个 TaskManger，每个 TaskManager 多大。当任务运行完之后，它也会告诉 K8s Cluster 释放没有使用的资源。 - 具体操作：可以使用 Flink 提供的 kubernetes-session.sh 脚本来启动一个 Flink Session Cluster。例如： ```shell ./bin/kubernetes-session.sh \ -Dkubernetes.cluster-id=my-first-flink-cluster \ -Dkubernetes.container.image=flink:1.11.2 \ -Dkubernetes.jobmanager.cpu=1 \ -Dkubernetes.taskmanager.cpu=1 \ -Dkubernetes.rest-service.exposed.type=NodePort \ start ``` 以上命令会启动一个名为 my-first-flink-cluster 的 Flink Session Cluster，使用的镜像为 flink:1.11.2，JobManager 和 TaskManager 的 CPU 都为 1，同时将 Flink 的 REST API 暴露在 NodePort 上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值