flink 在cdh6上的搭建

最新推荐文章于 2025-06-23 08:39:18 发布
原创 最新推荐文章于 2025-06-23 08:39:18 发布 · 580 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据 #yarn

本文详细介绍了如何在CDH6.2环境下搭建并安装Flink服务。首先，从指定网址下载Flink的CSD和Parcel文件，并放置于相应目录。接着，重启CM-Server服务，将Parcel文件放入parcel-repo目录。在CM管理界面中，通过一系列操作完成Parcel的安装。最后，遵循步骤添加并配置Flink服务，包括选择History主机和Gateway主机，以完成安装流程。

Flink在cdh6.2上的搭建

  1. 下载flink相关的csd和parcel 地址：https://archive.cloudera.com/csa/1.0.0.0/csd/，https://archive.cloudera.com/csa/1.0.0.0/parcels/
  2. 将FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar  放在/opt/cloudera/csd下
  3. 重启cm-server服务 systemctl restart cloudera-scm-server
  4. 将对应版本的parcel，parcel.sha和manifest.json放在/opt/cloudera/parcel-repo下。
  5. 进入cm-server管理界面，点击parcel进入parcel管理界面（如果没有flink对应的parcel多刷新几次就行了）

 

 

  1. Parce
最低0.47元/天 解锁文章
wang972779876
关注
cdh6.3.1集成flink1.14.0
csdntestuser1的博客
03-13 3064
整理了cdh6.3.1集成flink1.14.0的过程
CDH集成Flink
weixin_41367158的博客
03-01 995
这里把之前编译打包好的flink的tar包上复制到flink-parcel项目的根目录。FLINK_URL=https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz #flink版本号。编译完成的结果就是flink/flink-dist/target/flink-1.17.1-bin目录下的flink-1.17.1文件夹，接下来把flink-1.17.1打包成tar包。
CDH6配置Flink1.12.0(编译安装).pdf
11-05
CDH6配置Flink1.12.0(编译安装)
CDH之后搭建flink
weixin2006的博客
04-23 1335
这篇是讲解CDH集群搭建之后，自己搭建flink去集成 tar -xzvf flink-1.7.2-bin-hadoop28-scala_2.11.tgz vim ./.bash_profile export FLINK_HOME=/home/bigdata/flink/flink-1.9.1 export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yar...
CDH整合Flink(CDH6.3.0+Flink1.12.1)
yzw_ai_sx的博客
01-14 2092
CDH集成Flink
CDH整合Flink（CDH6.3.2+Flink1.12.0）
热门推荐
mp9105的博客
03-01 1万+
一、准备工作 安装jdk1.8及maven，jdk使用CDH安装包中自带的jdk的rpm包即可 安装完成后添加环境变量 [root@linux201 ~] vim /etc/profile.d/custom.sh 添加如下内容 # JAVA_HOME JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera PATH=$PATH:$JAVA_HOME/bin # MAVEN_HOME MAVEN_HOME=/usr/local/maven-3.6.3 PATH=$PATH:$
通过CDH安装Flink的详细指南
ljw714的专栏
06-23 709
本文介绍了在CDH环境中安装配置Apache Flink的完整流程。首先列出安装前提条件，包括CDH集群、管理员权限和系统资源等。详细步骤涵盖在Cloudera Manager中添加Flink服务、主机和角色配置、数据库设置、内存及网络参数优化。提供了验证安装的方法和常见问题解决方案，如内存配置、网络连接和性能优化问题。最后强调与Hadoop生态集成的注意事项，并建议参考Cloudera和Flink的官方文档获取更多信息。通过CDH安装Flink可以充分利用Hadoop生态优势，实现高效的流数据处理。
Flink1.11.2集成CDH6.0.1
墨小柒的博客
01-12 1002
Flink1.11.2集成CDH6.0.11. 集群规划2. 版本选择3. Flink集成CDH编译3.1 准备maven环境3.2 编译flink-shaded 版本3.3 编译flink源码3.4 制作parcel安装包3.5 CDH集成Flink3.6 搭建过程中问题汇总3.7 Flink界面验证3.8 运行Flink例子程序3.9 提交Flink任务到yarn参数说明 1. 集群规划 普通分布式集群 一个简单的表格是这么创建的： 节点名称 master slave1 slave2 J
CDH6.3.2编译并集成Flink
等闲之辈莫等闲的博客
06-10 3530
一、安装包准备 CDH 6.3.2(Hadoop 3.0.0)、Flink 1.12.4、flink-shaded-12.0、Centos7.9、Maven 3.6.3、Scala-2.13.6和JDK1.8.0_291 flink包下载：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/ 二、环境配置 1.将安装包上传到相应目录并解压 tar -xzvf xx.tgz 2.配置环境变量 vi /etc/profile export JAVA_HOME=/
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
FLINK-1.14.0 cdh6.3.2 .zip
10-06
flink 部署在cdh6.3.2 的包
flink-1.9.3-hadoop3.0.0-cdh6.2.1.tar.gz
06-10
资源是flink的编译包， Flink 编译和运行要求 Java 版本至少是 Java 8，且最好选用 Java 8u51 及以上版本，我选用的是java version "1.8.0_181"，源码是基于scala2.11，maven是3.2.5
flink-1.12-CDH-6.3.2.zip
03-19
flink1.12集成CDH6.3.2，亲测可用
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和rotateLogFilesWithPrefix: command not found问题，不影响使用
CDH6.3.1安装FLINK
小谷的博客
12-07 4679
CDH6.3.1安装FLINK1. 准备2. 将上面文件移动到master对应位置位置3. 重启cdh集群4. 添加Flink服务5. 可能出现的问题 默认情况下我们安装好的cdh集群是不包含flink，但是我却又想使用flink集群。 下面我就使用cdh6.3.1安装 1. 准备 下载下面三个文件 FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel FLINK-1.9.0-csa1.0.0.0-cdh
CDH6.2.0（别的也适用） 编译flink1.14.3
尤托匹亚的博客
04-05 2729
1. 方法有两种 1.1 克隆cloudera提供的打包，然后下载flink一步一步按照教程来，比较麻烦。 1.2 采用大佬开发好的脚本，直接一个shell搞定。（最好搞过javaEE和看得懂shell） 1.3 免费下载我打包好的程序 CDH-6.2-FLINK_ON_YARN-1.14.3.jar CDH-6.2-FLINK-1.14.3-BIN-SCALA_2.12.tar 2. 白剽大佬的项目 flink-parcel 3. 江湖规矩，有图为证 ...
编译 CDH-6.3.1 版本的 Flink 1.10
mhtc5052的博客
02-28 3055
Apache Flink官网下载安装包不能支持CDH，需要编译后进行安装，参照网上很多资料，尝试了多天，终于成功，供大家参考。 1、环境 Jdk 1.8、centos7.6、Maven 3.6.2和Scala-2.12 2、源码和CDH 版本 Flink 1.10.0 、 CDH 6.3.1(Hadoop 3.0.0) 3、配置maven源 <mirrors> ...
Flink Ha搭建
CentOS_Pc的博客
09-17 1347
自己搭建ha的时候也遇到不少坑，各种报错。也是站在前人的肩膀上前行。整理一下具体的ha流程。希望能让后来者少走弯路~ 具体的属性的含义可以查看官方说明。这里直接上配置信息。不多说，就是干！ 默认集群设置：pcc01、pcc02、pcc03，设置pcc03为主节点、pcc02为备用节点实现高可用 0：下载解压flink-1.6.0 1：配置相关节点信息     0：pcc03  节点配置 ...
cdh搭建集群flink
最新发布
12-09
<think>首先，用户的问题是关于在CDH上搭建Flink集群的详细步骤。用户提到引用了几个来源，但强调这些仅供参考，我需要参考用户上一次的问题和我的回答。用户上一次的问题是：“我想查找在CDH上搭建Flink集群的方法 请问在CDH上搭建Flink集群的详细步骤”，所以这是连续的。 系统指令要求： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 引用的段落末尾添加引用标识。 - 回答结构清晰，帮助用户逐步解决问题，保证真实可靠。 在我的回答中，我需要生成相关问题，格式如示例：在最后添加“§§相关问题§§”后列出问题。 现在，内容方面： - 用户提供的引用： - [1]：CDH整合Flink，涉及添加仓库配置。 - [2]：使用Ambari搭建Flink集群，提到与集群资源管理器集成。 - [3]：基于Hadoop搭建Flink集群，包括解压文件。 - 基于这些，我应该提供在CDH上搭建Flink集群的步骤。CDH通常使用Cloudera Manager（类似Ambari，但CDH版本），所以可能需要整合。 关键点： - CDH是Cloudera的Hadoop发行版，通常使用Cloudera Manager管理。 - Flink可以与YARN集成，因为CDH使用YARN作为资源管理器。 - 步骤可能包括：安装Flink包、集成到CDH、配置等。 标准步骤（基于一般知识）： 1. 确保CDH集群正常运行。 2. 下载Flink与CDH兼容的版本（如引用中提到的Flink on CDH包）。 3. 添加仓库（如引用[1]所示）。 4. 使用Cloudera Manager安装Flink服务。 5. 配置Flink以使用YARN。 6. 启动服务并验证。 详细步骤： - 引用[1]提到添加一个仓库配置：baseurl=http://linux201/flink1.12.0-on-cdh6.3.2/ - 引用[2]提到使用Ambari，但CDH使用Cloudera Manager，类似。 - 引用[3]提到解压文件，但在CDH中，最好通过包管理安装。 最佳实践： - 在CDH上，推荐使用Parcel或CSD（Custom Service Descriptor）安装Flink。 - 例如，Cloudera提供Flink CSD。 步骤大纲： 1. **准备环境**：确保CDH集群已安装并运行。 2. **获取Flink包**：下载Flink的Parcel或CSD。对于CDH6.3.2和Flink1.12.0，如引用[1]，添加仓库。 3. **安装Flink服务**：在Cloudera Manager中添加服务。 4. **配置Flink**：设置资源管理为YARN，配置参数。 5. **部署和启动**：分配角色，启动服务。 6. **验证**：运行一个Flink作业测试。 具体步骤（基于引用和一般知识）： - 从引用[1]，添加仓库：创建一个repo文件，如`flink-on-cdh.repo`，内容如所示。 - 然后使用yum或类似工具安装。 - 在Cloudera Manager中，应该能看到Flink服务可添加。 引用整合： - 在回答中，引用提供的来源，添加引用标识如[^1]。 结构回答： - 逐步解释步骤。 - 使用代码块或列表。 - 确保清晰。 最后，生成相关问题。 回答结构： 1. 引言：解释在CDH上搭建Flink集群的一般方法。 2. 详细步骤：分步列出。 3. 结尾：添加相关问题。 生成相关问题： - 如：如何配置Flink与YARN？如何验证集群？优化Flink在CDH上的性能？ 语言：中文。 </think> ### 在CDH上搭建Flink集群的详细步骤 在CDH（Cloudera Distribution for Hadoop）上搭建Flink集群，可以通过Cloudera Manager集成Flink与YARN资源管理器来实现。这能确保Flink高效运行在CDH生态系统中。以下是基于最佳实践和引用资料的详细步骤（假设CDH版本为6.3.2，Flink版本为1.12.0）。步骤需在CDH管理节点上操作，确保集群已正常运行且网络畅通。 #### 步骤1: 准备环境 - **验证CDH集群状态**：登录Cloudera Manager Web UI，确保所有服务（如HDFS、YARN、ZooKeeper）运行正常。若有问题，先修复后再继续。 - **下载兼容Flink包**：Flink需与CDH版本兼容。从官方或可信源下载Flink on CDH的仓库包，例如使用引用[1]提供的仓库配置： ```bash # 创建仓库文件 sudo tee /etc/yum.repos.d/flink-on-cdh.repo <<EOF [flink-on-cdh] name=flink-on-cdh baseurl=http://linux201/flink1.12.0-on-cdh6.3.2/ enabled=1 gpgcheck=0 EOF ``` 此配置添加一个本地仓库，用于安装Flink包[^1]。 #### 步骤2: 安装Flink服务 - **通过包管理器安装**：使用yum安装Flink包，并确保与CDH集成： ```bash sudo yum clean all # 清除缓存 sudo yum install flink # 安装Flink ``` 安装后，文件默认解压到`/opt/cloudera/parcels/FLINK-1.12.0/`（路径可能因版本而异），类似引用[3]中的解压步骤[^3]。 - **在Cloudera Manager中添加服务**： 1. 登录Cloudera Manager Web UI。 2. 导航到"集群" > "添加服务"。 3. 选择"Flink"服务，并分配角色（如JobManager、TaskManager）。 4. 接受默认配置或根据集群规模调整（如内存分配）。 #### 步骤3: 配置Flink以使用YARN - **关键配置修改**： - 在Cloudera Manager中，进入Flink服务配置页面。 - 设置资源管理器为YARN：在`flink-conf.yaml`中添加或修改参数： ```yaml jobmanager.rpc.address: <JobManager主机名> taskmanager.numberOfTaskSlots: 4 # 根据节点资源调整 high-availability: zookeeper high-availability.zookeeper.quorum: <ZooKeeper主机列表> ``` - 引用[2]强调Flink与集群资源管理器（如YARN）的集成，确保Flink能动态分配资源[^2]。 - **同步配置**：保存后，重启Flink服务使配置生效。 #### 步骤4: 部署和启动集群 - **启动服务**：在Cloudera Manager中，启动Flink服务。监控日志以检查错误（日志路径通常为`/var/log/flink/`）。 - **验证集群**： - 运行测试作业： ```bash # 提交一个示例Flink作业 /opt/cloudera/parcels/FLINK-1.12.0/bin/flink run -m yarn-cluster /path/to/flink-examples.jar ``` - 检查YARN UI（http://<resourcemanager-host>:8088）确认作业状态。 #### 步骤5: 常见问题排查 - **权限问题**：确保HDFS目录权限正确，例如Flink作业需写入权限： ```bash hdfs dfs -chmod -R 777 /user/flink ``` - **资源不足**：调整YARN资源分配或Flink的`taskmanager.memory.process.size`参数。 - **网络配置**：确保所有节点可解析主机名，防火墙允许相关端口（如JobManager的6123端口）。 通过以上步骤，Flink集群应成功搭建在CDH上。整个过程利用了CDH的托管能力，简化了部署。如果遇到问题，参考Cloudera官方文档或社区资源。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值