CDH集成Flink

CDH中集成Flink的详细步骤
最新推荐文章于 2024-01-14 22:05:28 发布
原创 最新推荐文章于 2024-01-14 22:05:28 发布 · 2.6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #flink

CDH原生的组件里面不包含Flink的组件。如果我们需要用FLink的话，必须自己添加并进行相关的配置。

集成FLINK主要分2大步骤

  • 提供一个包jar包，让cdh能识别你是谁，然后在cdh里注册，并下载文件激活。
  • 在集群中添加服务，并启动。

  • 如果想用flink更高版本，自己可去编译，这里是cloudera网提供1.9版本，不用编译
  • 下载flink相应的csd文件和parcels文件到本地

https://archive.cloudera.com/csa/1.0.0.0/parcels/

最低0.47元/天 解锁文章
CDH整合Flink（CDH6.3.2+Flink1.12.0）
mp9105的博客
03-01 1万+
一、准备工作 安装jdk1.8及maven，jdk使用CDH安装包中自带的jdk的rpm包即可 安装完成后添加环境变量 [root@linux201 ~] vim /etc/profile.d/custom.sh 添加如下内容 # JAVA_HOME JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera PATH=$PATH:$JAVA_HOME/bin # MAVEN_HOME MAVEN_HOME=/usr/local/maven-3.6.3 PATH=$PATH:$
cdh集成flink1.13.0
yangpu002的博客
12-06 2013
flink：1.13.0-1.12cdh：5.16.1为cdh集群搭建flink，需要编译flink的parcel包；安装git和maven，并配置maven的环境变量（lunix安装maven可自行百度，注意镜像换成阿里云的）下载flink的parcel制作包（这是通过githup下载的）： 通过githup下载有可能下载失败，这是可以直接通过github官网进行下载，然后放到lunix主机上解压；通过flink的parcel制作包，也可以在githup或者gitee上找其他的，这只是一个举例 进入目
CDH整合Flink(CDH6.3.0+Flink1.12.1)
yzw_ai_sx的博客
01-14 2044
CDH集成Flink
CDH集群集成外部Flink（改进版-与时俱进）
前方的路在刚开始
07-26 2302
参考文章中，给出的cdh编译后的flink，已经下架，所以我们得想办法，编译。参考别人的文章不可怕，怕的是，不思进取，我们可以参考别人的文章，并且对不足之处，进行改进，将优秀的地方，进行学习，这样我们国家和民族的技术文章和社区，才能不断进步。可能有一天我不干程序员了，但是技术更新了，那时，我也希望，我的文章能被别人拿走，进行改进，造福开源社区。于是，此文章是基于参考文章为基础，进行的改进版。...............
CDH集成Flink.doc
最新发布
03-01
### CDH集成Flink知识点详解 #### 一、Flink的编译与配置 ##### 1.1 下载Flink源码 Flink是Apache软件基金会旗下的一个开源项目，主要致力于提供高性能、高可靠性的流处理框架。对于需要集成到特定环境如CDH中的...
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和...
CDH6.3.2集成flink1.13 parcel 包
10-25
FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel.sha FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel manifest.json FLINK_ON_YARN-1.13.2.jar 安装教程见 ...
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
在CDH集群安装Flink
热门推荐
Nick
05-15 1万+
在CDH集群安装Flink 1. 下载安装包 查看自己的hadoop版本和scala版本, 这里是hadoop 2.6, scala 2.11 wget https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scala_2.11.tgz 2. 解压 tar -zxf flink-1.7.2-bin-ha...
cdh6.3.2集成flink1.10.2-parcel包(亲测可用)
12-01
源码编译制作的parcel包，centos7.5+cdh6.3.2+scala2.12亲测可用，内附文章教程地址。
CDH5.16.1 集成Flink1.10.0 parcel文件
11-07
CDH5.16.1集成Flink1.10.0 parcel文件，csd文件。Centos7.5编译。亲测可用。
CDH6.3.2集成Flink1.11.2
万般皆苦，唯有自渡
06-24 7776
背景: 最近数据湖技术风风火火，其中三大湖之一的Iceberg，已其不绑定引擎层的特性，引起了作者的注意，作者也想学习一下，奈何自己的CDH里Flink还是1.9版本，因此有了这篇集成的文章。好了，说了这么多的废话，我得去带薪喝杯水了。 ...
CDH6.3.2集成flink1.13
m0_49027804的博客
10-25 4032
CDH6.3.2集成flink1.13
CDH7.1.7集成flink1.14.5
qq_45360515的博客
03-17 878
上图中出现的“Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.”原因是环境变量没有配置导致，但是并不影响正常使用。（1）flink需要支持的jdk版本较高，本部署环境flink使用的jdk是jdk1.8.0_232版本。# 配置决定每台机器能并行运行多少个slot, 机器上一个核可以运行一个slot。-s：指定TaskManager中slot的数量。-n：指定TaskManager的数量。
CDH6.2+集成Flink
qq_43403113的博客
04-15 4493
手动编译基于cdh版本的flink
CDH集成flink
weixin_42487706的博客
08-04 453
https://blog.youkuaiyun.com/molidiyi/article/details/106014972
CDH6集成Flink【提供安装包】
大数据研习社
04-20 1239
01 Flink安装准备 1.1 下载Flink安装包 Cdh版本的Flink安装包如下所示（可加文章最下方微信免费获取）： FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha manifest.json 1.2 上传Flink安装包 将下面三个文件传到本地的parcel源目录：/o
阿里云安装CDH6.3.2并集成flink1.12
weixin_44067108的博客
11-03 2744
1.购买阿里云服务器 可使用抢占实例的服务器，一天几块钱（按小时使用时长收费）但是服务器但是有百分之0-3的回收率 选择4核16GB的服务器，通用型g5最便宜所以选择这个 选择无确定使用时长。三台实例，镜像选择centos7.5，硬盘40GB 选择交换机所在地址，宽带峰值可自由调配，毕竟按流量收费 下一步确定订单 购买完成 8毛钱一个小时 在控制台看到服务器 ...
cdh 集成flink
07-27
CDH（Cloudera Distribution including Apache Hadoop）是一种基于Apache Hadoop的分布式数据处理平台。要集成Apache Flink到CDH中，可以按照以下步骤进行操作： 1. 下载和安装CDH：从Cloudera官方网站上下载并安装CDH。根据你的需求选择合适的CDH版本进行安装。 2. 下载和安装Apache Flink：从Apache Flink官方网站上下载并安装Flink。确保选择与你的CDH版本兼容的Flink版本。 3. 配置Flink：在CDH集群的每个节点上配置Flink。你需要编辑Flink的配置文件，指定CDH集群的相关参数，例如HDFS的地址、ZooKeeper的地址等。 4. 启动Flink集群：在CDH集群的一个或多个节点上启动Flink集群。可以使用Flink提供的启动脚本来启动JobManager和TaskManager。 5. 运行Flink任务：使用Flink提供的API或者命令行工具提交和运行Flink任务。你可以编写自己的Flink应用程序，也可以使用现有的Flink作业。 请注意，集成Flink到CDH中可能涉及到一些其他的配置和调整，具体取决于你的环境和需求。建议参考CDH和Flink的官方文档以获取更详细的信息和指导。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值