cloudera manager手动安装flink、livy parcel出现哈希验证失败

最新推荐文章于 2024-07-05 15:44:08 发布
原创 最新推荐文章于 2024-07-05 15:44:08 发布 · 1.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#CDH #flink #parcel

本文解决在Cloudera Manager中安装自定义parcel如Flink和Livy时，遇到的下载失败及哈希验证错误。通过调整httpd.conf配置，加入.parcel类型支持，重启HTTP服务，成功解决了下载问题。

问题：

最近用cloudera manager 搭建的hadoop大数据处理平台，因为需求要安装livy、flink,然后自己就手动制作了flink 和livy parcel，（网上有很多的教程）这里我遇到的问题是下载parcel出现哈希验证失败:
在这里插入图片描述
一开始总是怀疑是parcel的hash值与parcel.sha的hash值不一样，但是我仔细查看了一下，是没有问题的，这里就按照flink为例：
FLINK-1.10.2-BIN-SCALA_2.12-el7.parcel.sha
在这里插入图片描述
manifest.json
在这里插入图片描述

解决方法

所以排除是hash值导致的，后来查阅资料是发现是httpd服务的问题，在配置文件中需要加上parcel选项，需要修改httpd.conf配置文件，添加parcel。
httpd.conf目录在


```/etc/httpd/conf/httpd.conf

#在<IfModule mime_module
最低0.47元/天 解锁文章
CDH5.16.2-Flink1.10.1-parcel制作
独立开发，substack顶级编辑
07-28 1899
一.简介 CDH除了能够管理自生所提供的一些大数据相关服务外，还允许将第三方服务添加到CDH集群（托管在CDH上）。你需要做的就是按照一定的规则流程制作相关程序包，最后发布到CDH上。虽然过程并不困难，但是手动操作尤其是一些关键配置容易出错，往往导致最终服务无法正常在CDH上安装运行。 二.cm_ext url : https://github.com/cloudera/cm_ext.git validator 验证csd和parcel validator(验证器) 重新编译 mvn clean packa
自制Flink Parcel集成CDH（Flink1.12.0 + CDH6.3.2）
qq_41041447的博客
01-15 4872
记录制作flink parcel 环境（虚拟机，系统CentOS7.6） （1）jdk1.8 （2）maven3.6.1 （3）parcel制作工具 1.jdk1.8 下载jdk1.8版本并上传到虚拟机的指定目录下，我的目录是/app 解压jdk到当前目录 tar -zxvf /app/jdk-8u151-linux-x64.tar.gz -C . 重命名 mv jdk1.8.0_151/ jdk 配置系统环境变量 vim /etc/profile 在最后添加： export JAVA_HOME=/ap
Cloudera Manager中安装部署Flink服务
storm_fury
05-07 2528
制作Flink的Parcel包和csd文件 将Parcel包和manifest.json文件部署到httpd服务中 [root@node01 ~]# mkdir -p /var/www/html/cloudera-repos/flink-parcel/ [root@node01 ~]# cd /var/www/html/cloudera-repos/flink-parcel/ [root@...
cdh 6哈希验证失败解决方法
随风随想
06-15 3843
当安装cdh 6，使用本地搭建的parcel时，出现了哈希验证失败的问题： 查看了parcel的sha值，与官网的一致，没有问题： #parcel sha值 [root@localhost bigdata]# sha1sum CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel de86cc42380f073f4906801913d7083b39e46db7 CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel #sha文件里的值 [root
CDH 6.3.2下安装Flink
weixin_47444415的博客
02-17 2168
cdh 6.3.2下安装flink简单教程，自己在生产环境中测试成功
CDH 6 安装服务哈希验证失败 解决方法
jast
11-30 1080
当安装cdh 6，使用本地搭建的parcel时，出现了哈希验证失败的问题： 查看了parcel的sha值，与官网的一致，没有问题： #parcel sha值 [root@localhost bigdata]# sha1sum CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel de86cc42380f073f4906801913d7083b39e46db7 CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel #sha文件里的值 [root
2015-2-12 PHPCMS 【hash】数据验证失败
title
02-12 2906
改两个地方 1、/phpcms/modules/content/templates/content_edit.tpl.php 第18行 改成：" method="post" enctype="multipart/form-data"> 2、/phpcms/modules/attachment/templates/ 第9行改成" method="post" onsubmit="re
CLOUDERA MANAGER手动安装FLINK、LIVY PARCEL出现哈希验证失败
weixin_44389063的博客
08-10 396
CLOUDERA MANAGER手动安装FLINK、LIVY PARCEL出现哈希验证失败 问题： 最近用cloudera manager 搭建的hadoop大数据处理平台，因为需求要安装livy、flink,然后自己就手动制作了flink 和livy parcel，（网上有很多的教程）这里我遇到的问题是下载parcel出现哈希验证失败: 一开始总是怀疑是parcel的hash值与parcel.sha的hash值不一样，但是我仔细查看了一下，是没有问题的，这里就按照flink为例： FLINK-1.10.
制作flink的parcel包（cloudera管理flink）
bx1215的博客
07-05 1078
反编译查看 opt/cloudera/parcels/FLINK-1.9.2-BIN-SCALA_2.11/lib/flink/lib/flink-shaded-需在 flink-shaded-9.0/flink-shaded-hadoop-2-uber/pom.xml 中的 dependencies 标签中添加如下依。路径是： flink-1.x.x/flink-disk/target/flink-1.x.x-bin。hadoop-2-uber-3.0.0-cdh6.3.2-7.0.jar，发现。
精选资源
cdh7.5 cloudera manager 安装全套软件和视频推荐
02-23
### CDH7.5 Cloudera Manager 安装全套软件及视频推荐知识点解析 #### 一、Cloudera Data Platform (CDP) 概述 根据所提供的内容，“CDH7及以上版本已经更名为CDP”，这表明Cloudera对其产品线进行了调整。Cloudera...
CDH+Flink+ Parcel FLINK-1.12.0-BIN-SCALA_2.11-el7.parcel 的错误:哈希验证失败
weixin_44904163的博客
02-12 785
CDH部署flink，碰到hash值验证失败 解决方案 修改http配置文件 vim /etc/httpd/conf/httpd.conf 修改配置文件，添加 .parcel 3. 重启http服务 systemctl restart httpd 下载成功
分布式flink平台搭建
03-05
ubuntu系统下部署完全分布式flink平台及与平台相关的zookeeper，kafka平台的安装部署过程及遇见的问题的解决方案
flink-1.9.2-bin-scala_2.12-hadoop_2.7.2.z01
03-24
flink-1.9.2-bin-scala_2.12-hadoop_2.7.2.tar flink安装包，支持hadoop2.7.2 scala 2.12，编译完成的二进制包flink安装包，支持hadoop2.7.2 scala 2.12，编译完成的二进制包
大数据集群cloudera CDH安装手册
12-19
大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用
CDH 5.16.1 离线部署
梦想小镇
05-25 498
1:MySQL离线部署 元数据 2:CM离线部署 3:Parcel文件离线源部署 hfs yarn hive base zk 节点初始化 配置hosts 内网ip 172.31.232.209 hadoop001 172.31.232.208 hadoop002 172.31.232.207 hadoop003 注意三台机器都要配置hosts 配置防火墙开放外部可以访问的网站 关闭防火墙 [root@hadoop001 ~]# systemctl stop firewalld [root@...
CDH6搭建遇到的坑
lvwenyuan_1的博客
04-22 4512
这里记录一下： 在最开始分配parcel的时候：CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel。 如果出现哈希验证失败。 也就说，这个parcel文件的哈希和CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha的哈希不一致。 网上有很多博客都会通过 sha1sum CDH-6.3.2-1.cdh6.3.2....
在cdh6.3.0上自制flink1.9.x的parcel包（点激活按钮报错）
benpaodexiaowoniu的博客
02-04 2623
背景： 参考“如何获得Cloudera的Flink Parcel包”，此文：https://mp.weixin.qq.com/s/ajYyEnqCJRr8S645BqKCcg，然后运行安装包下的示例程序“在CDH上运行你的第一个Flink例子”：https://mp.weixin.qq.com/s/gPGVv_2US1eIihVwN4E1sQ。虽成功，但坑人呐！ 问题描述： 我安装到cdh6...
CDP集群中的Flink：安装和配置
止于终老的博客
06-03 834
CDP（Cloudera Data Platform）是一种现代化的数据管理和分析平台，而Flink是CDP生态系统中的关键组件之一，用于实时流处理和批处理。在本系列博客中，我们将探讨Flink在CDP集群中的安装、配置和升级。在之前的博客中，我们已经介绍了Flink的简介和核心概念，包括流式处理框架、事件、作业、数据流、窗口、状态和检查点等。如果您还没有阅读相关内容，请参考博客1：Flink简介和核心概念。
cloudera manager手动安装loudera manager agent
最新发布
03-21
### 手动安装 Cloudera Manager Agent 的操作指南 #### 准备工作 在开始手动安装 `cloudera-manager-agent` 前，需确认以下条件已满足： - 已完成服务器之间的域名解析配置以及 SSH 免密登录设置[^3]。 - 确保目标主机上已经安装并启用了 Yum 软件包管理工具。 #### 安装步骤 以下是具体的手动安装流程： 1. **通过 Yum 安装 `cloudera-manager-agent`** 使用如下命令来安装 `cloudera-manager-agent` 到指定的目标节点上： ```bash yum -y install cloudera-manager-agent ``` 此命令会自动下载并安装所需的依赖项和组件[^1]。 2. **编辑 Agent 配置文件** 编辑 `/etc/cloudera-scm-agent/config.ini` 文件中的 `[General]` 部分，确保其指向正确的 Cloudera Manager Server 地址。例如： ```ini [General] server_host=your-cloudera-manager-server-hostname-or-ip server_port=7182 ``` 3. **启动 Agent 并验证状态** 启动 `cloudera-manager-agent` 服务，并检查其运行状态： ```bash systemctl start cloudera-manager-agent systemctl status cloudera-manager-agent ``` 如果一切正常，则应显示服务正在运行的状态。 4. **目录挂载与清理环境变量** 对于集群内的每台机器 (h1 至 h5)，执行必要的目录创建、挂载及清除环境变量的操作。这一步骤可以参考之前的描述进行实施: ```bash mkdir /app mkdir -p /mnt/sdb/app mount --bind /mnt/sdb/app /app echo &#39;mount --bind /mnt/sdb/app /app&#39; >> /etc/rc.local chmod +x /etc/rc.d/rc.local ``` #### 注意事项 - 在多节点环境中部署时，建议逐一完成各节点上的 agent 安装过程后再统一测试连接情况。 - 若遇到网络连通性问题，请核查防火墙规则是否允许端口通信(默认为 7180 和 7182)[^2]。 ```python def check_agent_status(): import subprocess try: result = subprocess.run([&#39;systemctl&#39;, &#39;status&#39;, &#39;cloudera-manager-agent&#39;], capture_output=True, text=True) if "active (running)" in result.stdout: return True else: return False except Exception as e: print(f"Error occurred while checking agent status: {e}") return None if __name__ == "__main__": is_running = check_agent_status() if is_running: print("Cloudera Manager Agent is running.") elif is_running is not None: print("Cloudera Manager Agent is NOT running.") ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值