flink安装文档并集成CDH介绍

本文详细介绍如何在CDH集群上部署Apache Flink,包括创建flink包、配置flink-parcel.properties、生成parcel和csd文件的过程,以及在Cloudera Manager中集成并激活Flink服务的步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 创建flink包

下载flink parcel

# git clone https://github.com/pkeropen/flink-parcel.git

1.需要提前安装maven,执行编译脚本的需要用

# yum -y install maven

# chmod 744 build.sh

2. 配置flink-parcel.properties

#FLINK 下载地址

FLINK_URL=https://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz

#flink版本号

FLINK_VERSION=1.9.1

#扩展版本号

EXTENS_VERSION=BIN-SCALA_2.12

#操作系统版本,以centos为例

OS_VERSION=7

#CDH 小版本

CDH_MIN_FULL=5.2

CDH_MAX_FULL=6.3.2

#CDH大版本

CDH_MIN=5

CDH_MAX=6

3.执行脚本,生成parcelcsd文件

 # ./build.sh parcel  #生成parcel文件

 # ./build.sh csd_on_yarn  #生成csd文件, 会生产一个jar包,FLINK_ON_YARN-1.10.0.jar

  1. FLINK_ON_YARN-1.9.1.jar 文件放在本地的/opt/cloudera/csd/CDH服务识别flink的时候需要用

# cp FLINK_ON_YARN-1.9.1.jar /opt/cloudera/csd/    #本地cdh能识别这个软件的目录下

CM集成安装flink

1.cm配置flink parcel。如果是直接拷贝到本地的,可以不配置。

 

2.需要激活flink,要不然无法完成安装 下载—>>分配—>>激活

 

 

3.添加flink服务

  

 

4.完成配置  

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值