Flink 部署安装

前言

    Flink三种运行方式:Local、Standalone、Yarn(相当于yarn-cluster),Kubernetes。Local模式很简单,再这里不在介绍,下面着中介绍一下Standalon,On Yarn模式,Kubernetes模式。

1.standalone模式

1.1 安装

    • 将本地文件上传到Linux服务器:

luomingkuideMacBook-Pro:Downloads luomingkui$ scp -r flink-1.7.0-bin-hadoop27-scala_2.11.tgz

    • 解压缩:

cp /opt/software/flink-1.7.0-bin-hadoop27-scala_2.11.tgz /opt/module/

tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz

    • 修改 flink/conf/flink-conf.yaml 文件

jobmanager.rpc.address: hadoop102

    • 修改 /conf/slave文件

hadoop103

Hadoop104

    • 分发另外两台机器

xsync flink-1.7.0/

 

<think>好的,用户想了解如何安装部署Flink 1.20。我需要根据提供的引用内容来组织回答。首先,检查用户给的引用资料,里面有提到下载、配置和启动的步骤。引用1和2提到了修改config.yaml文件,引用3提到了安装路径和启动命令,引用4提到了不同的启动方式,比如standalone和YARN。 首先,应该分步骤讲解安装过程。需要确保步骤清晰,比如从下载开始,然后解压,配置环境,修改配置文件,最后启动集群。要注意使用中文,并且按照用户的要求,行内数学公式用$...$,不过这里可能用不上数学公式,但需要遵守LaTeX规则。独立公式用$$...$$,但安装步骤可能也不需要。不过需要检查是否有需要的地方,比如路径可能用代码块表示。 然后,生成相关问题。根据用户之前的示例,问题应该围绕安装部署的扩展,比如验证安装、配置参数、启动方式、与其他框架集成等。需要确保问题相关且有价值。 还要注意引用标注,在回答中适当的位置添加引用标识,比如在修改配置文件的步骤后面加上[^2],在启动命令后面加上[^3]等。要确保引用正确对应到用户提供的引用内容。 另外,用户提到了系统级指令,比如使用正确的LaTeX格式,但在这个安装教程中可能用不到数学表达式,所以可能需要忽略这部分,但必须确保其他格式正确,比如代码块用反引号,引用标识的位置正确。 最后,检查结构是否清晰,步骤是否详细,是否覆盖了所有必要的部分,包括下载、安装、配置、启动和验证。可能还需要提醒用户注意环境要求,比如Java版本,但引用中没有提到,所以可能需要假设用户已经具备环境,或者建议用户检查环境。 总结一下,回答的结构应该是:安装准备、下载与解压、配置修改、启动集群、验证安装,然后是相关问题。每个步骤中引用对应的资料,并确保命令和路径正确无误。</think>### Flink 1.20 安装部署教程 以下是基于CentOS 7环境的Flink 1.20单机模式安装步骤: --- #### **1. 安装准备** - 确保系统已安装Java 8或更高版本(推荐Java 11)。 - 创建安装目录(例如`/home/data/flink`): ```bash mkdir -p /home/data/flink ``` --- #### **2. 下载与解压** - 从官网下载Flink 1.20安装包: ```bash wget https://archive.apache.org/dist/flink/flink-1.20.0/flink-1.20.0-bin-scala_2.12.tgz ``` - 解压到目标目录: ```bash tar -xzf flink-1.20.0-bin-scala_2.12.tgz -C /home/data/flink/ ``` 解压后会在`/usr/local`下生成目录`flink-1.20.0`。 --- #### **3. 修改配置文件** - 进入配置目录: ```bash cd /home/data/flink/flink-1.20.0/conf ``` - 编辑`config.yaml`,设置JobManager和TaskManager参数: ```yaml jobmanager.rpc.address: localhost # JobManager地址 jobmanager.memory.process.size: 1600m # JVM堆内存 taskmanager.memory.process.size: 4096m # 每个TaskManager内存 taskmanager.numberOfTaskSlots: 4 # 任务槽数量 parallelism.default: 2 # 默认并行度 ``` 修改后保存[^1]。 --- #### **4. 启动Flink集群** - 执行启动脚本: ```bash cd /usr/local/flink-1.20.0 bin/start-cluster.sh ``` 启动后,JobManager和TaskManager会以独立进程运行[^4]。 --- #### **5. 验证安装** - 访问Web UI:`http://<服务器IP>:8081`,查看集群状态。 - 提交测试任务: ```bash bin/flink run examples/streaming/WordCount.jar ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员学习圈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值