flink 集成到cdh6.2管理平台中

最新推荐文章于 2024-08-09 07:37:38 发布
最新推荐文章于 2024-08-09 07:37:38 发布
阅读量715 收藏 1
点赞数
分类专栏： flink 文章标签： flink 部署 flink 集成到cdh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/strong_yu/article/details/107928310
版权
本文介绍了如何将Flink 1.9版本集成到CDH6.2管理平台中，包括下载特定版本的Flink parcel和jar文件，上传并激活 parcel，重启CM服务，以及安装和测试Flink服务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

cdh和flink版本

cdh版本:6.2
flink:1.9

步骤
下载cdh的flink

在https://archive.cloudera.com/csa/1.0.0.0/parcels/ 中下载
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha

在https://archive.cloudera.com/csa/1.0.0.0/csd/ 下载
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar

上传文件

把FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel,FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha 文件上传到 /opt/cloudera/parcel-repo/目录

把FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar上传到/opt/cloudera/csd/

分配激活flink parcel

在cm管理界面，分配激活flink
在这里插入图片描述
在这里插入图片描述

重启cm

分别重启

最低0.47元/天 解锁文章
CDH6.2.1集成flink（flink on yarn或Flink-Standalone服务）
QYmufeng的博客
06-16 1943
目录 一：环境准备 二：下载安装包 1. Flink-shaded包 2. flink1.10.2 源码包 3. maven配置文件 三：编译flink-shaded版本 1. 解压tar包 2. 解压文件后目录结构 3. 修改pom文件 4. 开始编译 四：编译Flink1.10.2源码 1. 解压tar包 2. 执行编译 3. 等待编译成功 4. 打包编译好的文件 五：制作parcel包 1. 下载git开源制作parcel包的项目 2. 修改配置文件 flink-parcel.properties 3
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
Flink 1.9.1 安装及启动（CDH6.2集成flink）
大数据指北
06-03 1135
这里部署环境为CDH6.2 集群，三个节点，Flink 版本为编译的 Flink1.9.1 版本。 Flink集群有两种部署的模式，分别是 Standalone 以及 YARNCluster 模式。 Standalone 模式，Flink 必须依赖于 ZooKeeper 来实现 JobManager 的 HA（Zookeeper 已经成为了大部分开源框架 HA 必不可少的模块）。在 Zookeeper 的帮助下，一个Standalone 的 Flink 集群会同时有多个活着的 JobManager，其中.
flink集成cdh编译
记录工作所遇问题及个人概念理解
10-11 628
一、环境准备 1、环境：Jdk 1.8、centos7.6、Maven 3.6.3和Scala-2.12 2、源码和CDH 版本：Flink 1.9.0 、 CDH 6.1.1(Hadoop 3.0.0) 注：mvn版本、CDH版本和scala版本无所谓，理论上可根据自己的版本自行更改。 二、安装包准备； 1、maven版本不要太低，我用的是maven 3.6.3： https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-ma
cdh6.2+ 集成flink1.14.4
m0_67401270的博客
08-14 1131
将编译parcel后生成的FLINK-1.14.0-BIN-SCALA_2.11_build文件夹内的3个文件复制到CDH Server所在节点的/opt/cloudera/parcel-repo目录。注：编译flink过程中可能会提示io.confluent相关的包有问题，查询资料反馈是默认下载的包不完整，需删除已经下载的包，然后从https://packages.confluent.io/maven/io/confluent这个网站上下载对应的包放到maven repository目录。...
CDH整合Flink(CDH6.3.0+Flink1.12.1)
yzw_ai_sx的博客
01-14 1816
CDH集成Flink
CDH6.2+集成Flink
qq_43403113的博客
04-15 4437
手动编译基于cdh版本的flink
CDH5.16.1 集成Flink1.10.0 parcel文件
11-07
在这个场景中，我们将讨论如何在CDH5.16.1上集成Flink1.10.0。 **CDH5.16.1集成Flink1.10.0** 集成Flink到CDH5.16.1涉及到几个关键步骤： 1. **Parcel配置**：Parcel是CDH的一种软件分发机制，它允许管理员在集群...
flink1.13.2集成到cdh集群安装包
08-18
包含flink1.13.2针对cdh6.2-6.4版本的编译包 parcel,parcel.sha manifect.json FLINK_ON_YARN.下载后可直接添加到cdh集群中
CDH整合Flink（CDH6.3.2+Flink1.12.0）
热门推荐
mp9105的博客
03-01 1万+
一、准备工作 安装jdk1.8及maven，jdk使用CDH安装包中自带的jdk的rpm包即可 安装完成后添加环境变量 [root@linux201 ~] vim /etc/profile.d/custom.sh 添加如下内容 # JAVA_HOME JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera PATH=$PATH:$JAVA_HOME/bin # MAVEN_HOME MAVEN_HOME=/usr/local/maven-3.6.3 PATH=$PATH:$
Flink1.12.3+CDH6.3.1集成.docx
05-18
CDH集成flink
plink:Flink平台
05-14
Plink Platform for 概述 旨在基于 封装构建上层平台。 提供常见的作业管理功能。如作业的创建，删除，编辑，更新，保存，启动，停止，重启，管理，多作业模板配置等。 (开发中)Flink SQL 编辑提交功能。如 SQL 的在线开发，智能提示，格式化，语法校验，保存，采样，运行，测试。 目标 我们的目标，大家共同参与，赶紧 ，一起进步吧！（只要你主动，我们就会有故事 。。。） 特性 作业管理（v0.1） [√] 作业创建，删除，编辑，更新，保存，上传 Jar，常规参数配置。 [√] 作业启动，停止，重启，停止，删除。 [√] 批量的作业启动，停止，重启，停止，删除。 [√] 作业列表的查看，过滤，分页。 [√] 作业实例列表的查看，过滤，分页。 [√] 本地化部署（Windows / Linux）。 [√] 容器化部署（Docker）。 Flink SQL（v0.2 开发中
flink-1.13.1 cdh6.3.2
07-24
flink 部署在cdh6.3.2 的包
flink任务调度器
06-20
很牛逼的任务器，可以管理flink的任务
Flink流批一体作业管理平台
u014519384的博客
03-16 1261
随着大数据处理需求的不断增长，流批一体作业管理平台的重要性愈发凸显。本文将介绍如何针对 Flink + Hudi 流批一体任务进行管理，特别针对 Hudi 任务的需求，支持一键启动离线 Compaction 和 Clustering 任务，保证数据湖的稳定运行。
flink安装文档并集成CDH介绍
mathlpz126的博客
07-27 510
一创建flink包 下载flink parcel # git clone https://github.com/pkeropen/flink-parcel.git 1.需要提前安装maven，执行编译脚本的需要用 # yum -y install maven # chmod 744build.sh 2.配置flink-parcel.properties #FLINK 下载地址 FLINK_URL=https://archive.apache.org/dist/flink/flink-...
CDH 集成Flink记录
sjw_night的博客
09-07 685
对于CDH集成Flink在网上找了一下博文，有的给出了官方的链接，好像点进去都失效了。然后通过尝试制作parcel包的方式来集成到CDH的方式成功了，过程也比较简单，特此记录一下。 首先感谢flink-parcel作者，接下来讲诉制作过程。 1.首先下载相关项目到服务器，然后修改flink-parcel.properties git clone https://github.com/pkeropen/flink-parcel.git cd flink-parcel flink-parcel.propert
Flink 流处理平台 Web 管理界面搭建教程
最新发布
gitblog_00394的博客
08-09 848
Flink 流处理平台 Web 管理界面搭建教程 flink-streaming-platform-web基于flink的实时流计算web平台项目地址:https://gitcode.com/gh_mirrors/fl/flink-streaming-platform-web 项目介绍 该项目名为 flink-streaming-platform-web，是由 GitHub 用户 zhp8341...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值