Flink集群安装及On Yarn部署实践

最新推荐文章于 2024-06-18 00:40:05 发布
最新推荐文章于 2024-06-18 00:40:05 发布
阅读量245 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/TechWhiz/article/details/132349257
大数据 专栏收录该内容
182 篇文章 ¥59.90 ¥99.00
订阅专栏
本文详细介绍了如何安装Flink集群，包括配置Java环境、下载Flink发行包，以及在Yarn上部署Flink。通过示例，演示了启动TaskManager、提交任务和监控作业状态的步骤，帮助读者快速搭建Flink实时数据处理环境。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink集群安装及On Yarn部署实践

大数据处理框架Flink一直以来被广泛应用于实时数据流处理和批处理任务。本文将介绍如何安装Flink集群，并使用Yarn作为资源调度器进行部署。我们将逐步指导您完成安装和配置的过程，并提供相应的源代码示例。

  1. 安装Java开发环境
    首先，确保您的机器上已经安装了Java Development Kit（JDK）。Flink需要Java 8或更高版本来运行。您可以从Oracle官方网站或OpenJDK社区网站下载适合您系统的JDK安装包，并按照相应的说明进行安装。

  2. 下载和解压Flink发行包
    访问Flink官方网站（https://flink.apache.org/）下载最新的稳定版本的Flink发行包。选择二进制发行版并下载到您的机器上。解压缩下载的文件到您选择的目录，我们将假定解压缩后的路径为/opt/flink。

  3. 配置Flink集群
    在完成文件解压缩后，我们需要对Flink集群进行适当的配置。进入Flink目录/opt/flink，编辑conf/flink-conf.yaml文件。以下是示例配置，您可以根据需要进行修改：

# JobManager设置
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 61
了解本专栏 订阅专栏 解锁全文
Flink【安装篇】01：Flink集群安装部署【Standaone模式、ON YARN模式】
weixin_40612128的博客
03-15 1756
Flink【安装篇】01：Flink集群安装部署【Standaone模式、ON YARN模式】
【大数据入门核心技术-Flink】（四）Flink安装部署-Flink On Yarn模式
08-29 462
Flink支持多种安装模式- Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用- Flink On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本文主要演示Flink On Yarn模式的安装部署。
大数据-玩转数据-FLINK(Yarn模式)的安装与部署
s_unbo的博客
05-21 2630
在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。内存集中管理模式：在Yarn中初始化一个Flink集群，开辟指定的资源，之后我们提交的Flink Jon都在这个Flink yarn-session中，也就是说不管提交多少个job，这些job都会共用开始时在yarn中申请的资源。
Flink on Yarn安装配置
2301_78038072的博客
03-15 4923
Apache Flink，作为一个开源的分布式处理引擎，近年来在大数据处理领域崭露头角，其独特的流处理和批处理一体化模型，使得它能够在处理无界和有界数据流时展现出卓越的性能。本文旨在对Flink进行简要的前言性介绍，以及他的安装配置。
Flink on Yarn安装部署
weixin_44697677的博客
04-08 1220
flink run -m yarn-cluster -yjm 1024 -ytm 1024 examples/batch/WordCount.jar #作业提交的同时申请资源。flink run examples/batch/WordCount.jar #递交作业。yarn-session.sh -n 2 -tm 800 -s 1 -d #申请资源。1)会话(session)模式。2)分离(per-job)模式。
大数据-玩转数据-FLINK(Yarn模式)的安装与部署_flink安装(2)
2401_84181253的博客
04-15 638
其次，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；内存集中管理模式：在Yarn中初始化一个Flink集群，开辟指定的资源，之后我们提交的Flink Jon都在这个Flink yarn-session中，也就是说不管提交多少个job，这些job都会共用开始时在yarn中申请的资源。首先，在集群运行时，可能会有很多的集群实例包括MapReduce、Spark、Flink等等，那么如果它们全基于on Yarn就可以完成资源分配，减少单个实例集群的维护，提高集群的利用率。
Flink on Yarn三部曲之二：部署和设置
2401_84412069的博客
04-18 880
毕竟工作也这么久了 ，除了途虎一轮，也七七八八面试了不少大厂，像阿里、饿了么、美团、滴滴这些面试过程就不一一写在这篇文章上了。我会整理一份详细的面试过程及大家想知道的一些问题细节。
Flink 搭建 - Flink On Yarn 集群模式
半吊子Kyle的博客
09-05 1万+
Flink 搭建 - Flink On Yarn 集群模式模式说明安装准备安装配置启动测试（Session模式）启动测试（Job 分离模式） Apache Flink 1.10 Documentation 模式说明 将 Flink 的 jar 包提交在 yarn 集群中，由 yarn 集群调度执行，所以我们只需要在 1 台服务器中解压 Flink 安装包就可以，其本质仅仅只是为了提交 Flink 应用到 yarn 集群中 Flink On Yarn 的两种运行模式 ① Session 会话模式 特点：需要事
Flink On Yarn部署讲解
靡不有初，鲜克有终
06-18 697
通过上节课的一些学习的话，我们了解了flinkonstandardlow的这样的一种集群部署模式的一些原理，以及它的一些具体的实践的一些操作。从本节课开始的话，我们重点去了解一下flinkon药的一些基本原理，以及它的一个实践的一个操作。首先我们先了解一下要的一个集群的一个架构的一个原理。对于做过大数据开发的这样的一些人员来讲的话，他其实对哈托普ER其实并不陌生。这个是作为我们整个大数据里面非常主流的这样的一个集群资源管理器。提供了这样的一套统一的一个资源管理和调度，以及我们的一个资源的一个操作。
flink on yarn部署
AttributeSet的博客
04-21 2875
官网下载对应的版本 flink版本-1.13.6 hadoop版本-3.2.1 步骤： 首先安装jdk 1、配置hosts vi /etc/hosts 例如： 192.168.0.1 flink1 192.168.0.3flink2 192.168.0.3flink3 2、防火墙关闭 firewall-cmd --state # 查看是否running systemctl stop firewalld #停止firewall systemctl disable fire...
Flink On Yarn模式配置
热门推荐
weixin_44378305的博客
10-18 1万+
Flink On Yarn模式配置Flink On Yarn模式配置引言一、安装JDK二、安装Hadoop三、安装Zookeeper四、安装Flink Flink On Yarn模式配置 引言 ​ Flink依靠Yarn来实现高可用，由于Yarn依赖于Hadoop，而Hadoop又依赖于Jdk。 ​ 准备三台机器 ​ 1.1.1.1 node1 ​ 1.1.1.2 node2 ​ 1.1.1.3 node3 一、安装JDK 1. 下载解压 tar -xvf jdk-8u271-linux-x64.tar
Flink集群安装部署（Standalone，Yarn模式）
MJK祺的博客
05-19 1665
根据自己所需选择版本，一个是scala版本为2.11，一个是scala版本为2.12，我下载的是flink-1.14.0-bin-scala_2.12.tgz。在完成flink standalone集群部署后，使用Yarn模式提交作业，flink on yarn不需要启动flink集群，只需要启动hadoop集群即可。进入flink的conf目录，修改flink-conf.yaml文件，设置jobmanager.rpc.address为master节点。为了方便，我将解压后的目录重命名为flink。
Flink on yarn的两种部署操作和安装（入门教程）
m0_67144365的博客
05-11 667
Flink on yarn的两种部署操作和安装（入门教程）
易懂安装Flink（Flink on Yarn模式）使用Flink（提交作业），会话模式+单作业模式+应用模式（三台）
m0_58046550的博客
11-29 2315
易懂安装Flink（Flink on Yarn模式）使用Flink（提交作业），会话模式+单作业模式+应用模式（三台）Flink on Yarn模式:一般企业使用，资源管理交由Yarn来管理，做一个简单的单词计算
【Flink】CDH/CDP Flink on Yarn 日志配置
Mrerlou的博客
06-07 3619
由于 应用程序大多是长时间运行的作业，因此 和 文件的大小很容易增长到数 GB，这可能会在您查看 上的内容时出现问题。这篇文章整理了如何为 启用 和 的滚动日志记录。这边文章为在 环境下的配置，并且这篇文章适用于 集群和 。 使用的默认日志是 Log4j，配置文件的如下：默认情况下， 没有配置滚动文件附加程序。进入 Cloudera Manager -> Flink -> Configuration -> Flink Client Advanced Configuration Snippe
Flink集群安装和部署之Flink On Yarn
chbxw
06-21 7420
文章目录一、Session-Cluster模式（yarn-session）二、Pre-Job-Cluster模式（yarn-cluster）   Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Had
Flink on Yarn模式部署
陈小哥cw
06-17 8383
独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所以接下来介绍的是 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的Resour
大数据最新大数据-玩转数据-FLINK(Yarn模式)的安装与部署_flink安装(2)
2401_84182146的博客
05-04 729
其次，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。在强大的 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。
1.15.0 Flink on Yarn安装并配置cdc
A_single_cat的博客
05-11 2849
下载安装 #下载包 wget https://archive.apache.org/dist/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz #清华镜像 wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz --no-check-certificat #解压 tar -zxvf flink-1.15.
Flink集群搭建与部署OnYarn模式代码
最新发布
11-28
Flink的OnYARN部署模式允许将Flink作业运行在Apache YARN之上，这是一种资源管理和调度平台。以下是基本的步骤： 1. **安装依赖**：首先，你需要确保已经安装了Hadoop YARN、HDFS和相关的YARN客户端库。 2. **配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值