cdh6.3.2集成flink1.12.0(亲测有效)

原创 已于 2022-02-27 20:52:10 修改 · 2.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据 #big data

于 2021-11-01 00:08:01 首次发布
本文解决了CDH6.3.2与Flink1.12.0集成部署过程中的常见错误，包括队列问题及节点启动失败等问题，并提供了解决方案。

CDH整合Flink（CDH6.3.2+Flink1.12.0）_mp9105的博客-优快云博客

报错1.队列问题

Caused by: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1636773988083_0034 to YARN : Application application_1636773988083_0034 submitted by user flink to unknown queue: default

原因为:我的cdh6.3.2设置了yarn公平调度器，加上deafult队列即可

&nbs

最低0.47元/天 解锁文章
CDH6.3.2集成安装flink on yarn服务（编译源码，制作parcel）（更新：flink1.12.2版本测试也可用）
qq_31454379的博客
12-01 8328
目录一：环境准备二：下载安装包1. Flink-shaded包2. flink1.10.2 源码包3. maven配置文件三：编译flink-shaded版本1. 解压tar包2. 解压文件后目录结构3. 修改pom文件4. 开始编译四：编译Flink1.10.2源码1. 解压tar包2. 执行编译3. 等待编译成功4. 打包编译好的文件五：制作parcel包1. 下载git开源制作parcel包的项目2. 修改配置文件 flink-parcel.properties3. 赋予build.sh文件执行权限4
Hive出现的问题汇总
Aime123456789的博客
08-08 2895
1.出现问题的前提条件：我在Hive中创建一个表然后想向表中插入数据，每次插入数据都会出现如下异常； java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1533616024453_0004 to YARN : Application applicat...
CDH6.3.2环境下Flink-1.12.4源码编译与集成实战
最新发布
weixin_28895791的博客
11-05 824
Flink 提供了一系列自定义 Maven 插件，存放于目录中，用于解决特殊构建需求：：包含代码生成、许可证检查、依赖分析等工具；：处理 Uber-JAR 打包时的类重定位（shading），避免与 Hadoop 冲突；：自定义 shading 规则，如重命名包；这些工具在系列模块中被广泛引用，是实现“依赖隔离”的关键技术手段。在金融、电信等行业场景中，常需对 AM 增加如下能力：资源预检：提交前检查 YARN 队列可用内存熔断机制。
Hive安装部署以及问题处理
qq_33865863的博客
08-03 717
解压 tar -zxvf apache-hive-2.3.9-bin.tar.gz -C /opt 解压后路径：/opt/apache-hive-2.3.9-bin 配置 创建配置文件 hive-site.xml cp hive-default.xml.template hive-site.xml 修改hive-site.xml内容： <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesh
CDH6.3.2集成Flink1.12.2
子凡的专栏
05-31 1521
将flink-1.12.2-bin-scala_2.11.tar解压到/var/www/html。# 创建flink-on-cdh的本地仓库，确保createrepo工具已经安装。CM页面—>主机—> parcel —> 配置，添加上传的parcel的位置。安装完成后，登录部署flink-yarn服务的后台上传。配置参数，kerberos的配置默认值清除掉，不填。重启集群的CM-Server及CM-agent。添加上传的parcel的位置。添加Flink-yarn服务。启动服务后，需要重启cm后端。
CDH6.3.2集成flink1.13
m0_49027804的博客
10-25 4036
CDH6.3.2集成flink1.13
cdh6.3.2集成flink1.10.2-parcel包(亲测可用)
12-01
标题 "cdh6.3.2集成flink1.10.2-parcel包(亲测可用)" 提供的信息表明，这是一个关于将Apache Flink 1.10.2版本集成到Cloudera CDH 6.3.2集群中的实践教程。Parcel是Cloudera Manager用于分发和管理CDH组件的一种方式...
精选资源
cdh6.3.2集成flink1.12.0所需要的编译好的包
08-12
在标题和描述中提到的“cdh6.3.2集成flink1.12.0”，意味着我们需要将 Flink 集成到 CDH 的最新版本中，以便充分利用其流处理能力。 首先，让我们了解 CDH 6.3.2。这一版本的 CDH 提供了对 Hadoop 的更新，包括 ...
CDH-6.3.2-FLINK1.12.0相关资源包
03-15
这个"CDH-6.3.2-FLINK1.12.0相关资源包"便是为了帮助用户在CDH平台上顺利部署和运行Flink应用而设计的。 Flink 1.12.0是Flink社区的一个稳定版本，它引入了许多新特性，例如改进了SQL支持，提供了更好的状态管理和...
CDH整合Flink（CDH6.3.2+Flink1.12.0）
热门推荐
mp9105的博客
03-01 1万+
一、准备工作 安装jdk1.8及maven，jdk使用CDH安装包中自带的jdk的rpm包即可 安装完成后添加环境变量 [root@linux201 ~] vim /etc/profile.d/custom.sh 添加如下内容 # JAVA_HOME JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera PATH=$PATH:$JAVA_HOME/bin # MAVEN_HOME MAVEN_HOME=/usr/local/maven-3.6.3 PATH=$PATH:$
精选资源
大数据技术之CM6.3.1+CDH6.3.2集成Apache Flink1.12.0.pdf
11-23
大数据技术之CM6.3.1+CDH6.3.2集成Apache Flink1.12.0 大数据技术是当下非常热门的技术领域之一，它广泛应用于各行各业，包括商业、金融、医疗、交通等领域。Apache Flink是大数据技术中的一种流处理引擎，能够实时...
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn&#39;t exist, not redacting logs. file: redaction-rules.json和rotateLogFilesWithPrefix: command not found问题，不影响使用
flink-1.13.1 cdh6.3.2
07-24
flink 部署在cdh6.3.2 的包
CDH6.3.2编译Flink-1.12.4
04-12
具体编译和集成过程，以及其他组件版本请参考https://blog.csdn.net/weixin_56131938/article/details/117778364
CDH6.3.2集成Flink1.12.2-parcel包(apache Flink-1.12.2-bin-scala_2.12.tgz)
04-15
源码编译制作的parcel包，linux+cdh6.3.2+scala2.12必然可用，内附文章的教程地址。
flink1.12 2 2.zip
03-16
源码编译制作的parcel包，centos7.5+cdh6.3.2+scala2.12亲测可用，内附文章教程地址。
CDH6.3.2 集成flink的部署配置
c18092694487t的博客
02-25 2531
CDH6.3.2 集成flink的部署配置 一：flink的简介 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行 在 2019 年 10 月于柏林举行的 Flink Forward 活动上，Cloudera 的工程主管 Marton Balassi 和 Field CTO
CDH6.3.2集成Flink1.11.2
万般皆苦，唯有自渡
06-24 7815
背景: 最近数据湖技术风风火火，其中三大湖之一的Iceberg，已其不绑定引擎层的特性，引起了作者的注意，作者也想学习一下，奈何自己的CDH里Flink还是1.9版本，因此有了这篇集成的文章。好了，说了这么多的废话，我得去带薪喝杯水了。 ...
阿里云安装CDH6.3.2并集成flink1.12
weixin_44067108的博客
11-03 2746
1.购买阿里云服务器 可使用抢占实例的服务器，一天几块钱（按小时使用时长收费）但是服务器但是有百分之0-3的回收率 选择4核16GB的服务器，通用型g5最便宜所以选择这个 选择无确定使用时长。三台实例，镜像选择centos7.5，硬盘40GB 选择交换机所在地址，宽带峰值可自由调配，毕竟按流量收费 下一步确定订单 购买完成 8毛钱一个小时 在控制台看到服务器 ...
CDH6.3.2环境集成Flink1.12.0编译包指南
资源摘要信息:"本文主要介绍如何在CDH6.3.2版本中集成Flink1.12.0。首先，需要参考CDH3.6.2集成Flink1.12.0的教程，该教程可以在https://blog.csdn.net/qq_25073261/article/details/126306777链接找到。" 在开始...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值