Flink专题(一) Linux下搭建Flink环境

最新推荐文章于 2025-11-12 07:45:00 发布
原创 最新推荐文章于 2025-11-12 07:45:00 发布 · 1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

一、Linux下载地址

1、软件镜像服务【下载速度较快，推荐】

flink

2、Apache官网下载

Downloads | Apache Flink

二、 Flink单机版启动

1、Flink 1.20.0需要至少JDK 17版本支持，提前安装好JDK环境.

2、基于CentOS 8环境.
cat /etc/redhat-release
3、启动Flink

相关启动脚本如下： 

./start-cluster.sh
4、查看相关进程 

StandaloneSessionClusterEntrypoint为Flink主进程，即JobManager。

TaskManagerRunner为Flink从进程，即TaskManager。

5、访问WebUI界面

localhost:8081端口，也可以修改config.xml rest那一行修改对应端口

5、关闭Flink
./stop-cluster.sh

三、中文文档

 1、中文文档地址

概念与通用 API | Apache Flink

2 Linux部署Flink——安装Flink
CourageLee的学习库
05-13 869
1 linux安装Flink # 解压 tar -zxf flink-1.10.1-bin-scala_2.12.tgz # 重命名 mv flink-1.10.1/ flink 下载 对应版本的 flink-shaded-hadoop放入flink/lib 中 可参考以下命令： # 下载 对应版本的 flink-shaded-hadoop wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-
Linux安装Flink
wd520521的博客
04-25 1107
一、环境配置 需要安装JDK 参考步骤：https://blog.youkuaiyun.com/wd520521/article/details/109769429 二、安装 1、下载（flink有两个版本，一个版本是和hadoop捆绑的，另一个是单独的，我们以单独的为例：）flink-1.10.3-bin-scala_2.11.tgz 2、解压 #解压到/opt/目录下 tar -zxvf flink-1.9.3-bin-scala_2.11.tgz -C /opt/ 3、配置环境 （...
环境搭建实战：本地部署Flink SQL开发环境
最新发布
SengMay的专栏
11-12 588
内存：至少4GB可用内存（推荐8GB以上）磁盘：10GB可用空间CPU：双核以上处理器Java：JDK 8（推荐OpenJDK 1.8.0_292）或JDK 11操作系统：Linux、macOS 10.14+、Windows 10+终端工具：支持SSH连接的终端或命令行工具。
Flink入门——基础知识，Linux安装，Docker安装
kiba518的博客
02-22 778
前言 在linux部署Flink需要先安装Java的JDK。 Flink的安装包，需要到官网先下载。 官网下载地址：https://flink.apache.org/downloads/ 各个版本下载地址：https://dlcdn.apache.org/flink/ Flink相关网站如下： flink官网学习地址：https://nightlies.apache.org/flink/f...
Flink在Linux系统上的安装与入门
m0_56341622的博客
11-25 2668
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。
在Linux系统下Flink集群搭建
m0_72020428的博客
05-28 1156
操作系统：CentOS7java运行环境：JDK8在3台服务节点安装集群。
【极数系列】Flink环境搭建&Linux版本 （03）
weixin_40736233的博客
01-28 1450
旨在帮助读者快速在Linux环境搭建Flink集群
Flink实战——集群搭建
m0_46332441的博客
04-09 3844
下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。，本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。，则在其余两台节点服务器（hadoop01和hadoop02）上。上，其中，目录位置可以自定义，本文上传的目录位置为。
Flink 开发环境搭建和应用的配置部署及运行.pdf
05-21
为了搭建Flink的开发环境并部署和运行Flink应用，需要进行一系列的配置和准备工作。 首先，搭建Flink的开发环境需要安装Java开发工具包（JDK），因为Flink是用Java和Scala编写的。针对不同操作系统，安装JDK的步骤...
搭建Flink分布式集群
不积跬步，无以至千里；不积小流，无以成江海。
06-28 609
虚拟机的共享盘在 /mnt/hgfs/。将共享盘安装包复制到 存在目标路径/opt/software/地址： https://www.apache.org/dyn/closer.lua/flink/flink-2.0.0/flink-2.0.0-bin-scala_2.12.tgz。修改 /conf/zoo.cfg 文件 (可以不改)修改 /conf/config.yaml 文件。修改 /conf/masters文件。修改 /conf/workers文件。如果没生效就重启服务器。集群内节点之间免密登录。
大数据组件-Flink环境搭建
默默发展，无声壮大~
09-04 1140
Flink（Apache Flink）是一个开源的流处理和批处理框架，它具有高性能、低延迟、容错性和灵活性的特点。Flink拥有强大而灵活的数据处理能力，用户可以根据自己的需求选择合适的组件和API来构建复杂的数据处理流程和批处理任务。Flink Core: Flink核心组件提供了任务调度、作业管理、资源管理、容错机制和数据传输等基础功能。它负责将用户提交的作业进行解析、分配任务并对其进行执行。
Linux安装Flink及其环境配置
相互学习 共同进步
06-19 3950
使用StandAlone模式，需要启动Flink的主节点JobManager以及从节点TaskManager（1）Application模式（2）Per-Job模式（3）Session模式。
Linux上安装flink
zhaoguowei的博客
07-17 1891
linux上安装flink很简单:首先先去http://mirrors.hust.edu.cn/apache/中找到想要的flink的版本 1.下载 wget http://mirrors.hust.edu.cn/apache/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz 2.解压 tar xvf flink-1.9.3-bin-scala_2.11.tgz ./flink-1.9.3 3.配置环境变量 vi ~/.bash_profile expor
Linux-flink单节点安装
m0_61813695的博客
06-28 1329
Flink官网：Operations | Apache FlinkFlink和Kafka对应关系访问Maven仓库：https://mvnrepository.com/ 查询flink-connector-kafka 本文flink使用版本为：flink-1.15.4-bin-scala_2.12.tgz 所以对应Kafka版本为： 本文使用版本为：Flink下载地址（全量版本均可下载：Downloads | Apache Flink）flink-1.15.4-bin-scala_2.12.tgz 国
Linux安装flink
猿码优创
06-20 6332
一、下载Flink（2种方式为了简单我用第二种。） 1、手动下载Flink 1.1、官网下载:https://flink.apache.org/downloads.html#apache-flink-172 1.2、下载压缩包 上传服务器自己创建的目录（略）。 2、自动下载Flink 创建目录： mkdir /root/kingyifan/flink 下载Flink: wget...
Linux-flink集群部署
m0_61813695的博客
07-07 1071
本文以node1为master节点，node2，node3位slave节点。本文节点：192.168.160.128，192.168.160.129，192.168.160.130。配置文件位于：/usr/local/flink-1.14.6/flink-1.14.6/conf。本文集群搭建版本为：flink-1.14.6-bin-scala_2.11.tgz。129 jobmanager.rpc.address为node2。130 jobmanager.rpc.address为node3。
linux启动flink集群,flink1.10 Linux 集群安装
weixin_42503036的博客
05-15 365
1.官网下载jar包：2.上传jar包并且解压：3.进入/flink-1.10.1/conf/flink-conf.yaml配置修改以下参数：1)jobmanager.rpc.address: 此处添加master节点的localhost其余参数根据自己机器自行配置，我粘贴一下默认值和说明2)jobmanager.heap.size:1024m --每一个jobmanage可用的内存3) ta...
如何搭建Linux环境下的flink本地集群
m0_75138009的博客
07-25 1061
最后，输入指令安装（windows 会从微软商店下载，可能会被墙，建议开魔法，没有的话也可以直接去搜索Ubuntu安装包进行安装）另外，本地磁盘会多一个 Linux 目录，如果需要和 Linux 系统进行文件传输可以直接复制粘贴。可以看到，windows下的浏览器可以正常访问到 linux 环境中的 flink 集群。安装前，先用管理员打开终端，执行以下三条命令，目的是开启安装 WSL2所需要的环境。下载完毕后，将其复制粘贴到 linux 中的home目录/你的用户名文件夹 之下。
linux启动flink集群,Flink Standalone Cluster 集群安装
weixin_39811166的博客
05-15 502
Flink Standalone Cluster 集群安装本文主要介绍如何将Flink以分布式模式运行在集群上(可能是异构的)。环境准备Flink 运行在所有类 UNIX 环境上，例如 Linux、Mac OS X 和 Cygwin(对于Windows)，而且要求集群由一个master节点和一个或多个worker节点组成。在安装系统之前，确保每台机器上都已经安装了下面的软件：Java 1.8.x或...
Linux环境下Flink 1.13.0部署到YARN模式指南
在本资源中，我们将详细介绍Flink的部署方式之一，即在Linux环境下通过YARN（Yet Another Resource Negotiator）进行部署。YARN是Hadoop的一个子项目，负责资源管理和调度。通过YARN，可以将Flink集群与现有的Hadoop...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大道之简

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值