cloudera manager手动安装flink、livy parcel出现哈希验证失败

本文解决在Cloudera Manager中安装自定义parcel如Flink和Livy时,遇到的下载失败及哈希验证错误。通过调整httpd.conf配置,加入.parcel类型支持,重启HTTP服务,成功解决了下载问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题:

最近用cloudera manager 搭建的hadoop大数据处理平台,因为需求要安装livy、flink,然后自己就手动制作了flink 和livy parcel,(网上有很多的教程)这里我遇到的问题是下载parcel出现哈希验证失败:
在这里插入图片描述
一开始总是怀疑是parcel的hash值与parcel.sha的hash值不一样,但是我仔细查看了一下,是没有问题的,这里就按照flink为例:
FLINK-1.10.2-BIN-SCALA_2.12-el7.parcel.sha
在这里插入图片描述
manifest.json
在这里插入图片描述

解决方法

所以排除是hash值导致的,后来查阅资料是发现是httpd服务的问题,在配置文件中需要加上parcel选项,需要修改httpd.conf配置文件,添加parcel。
httpd.conf目录在


```/etc/httpd/conf/httpd.conf
#在<IfModule mime_module>模块添加 parcel选项

<IfModule mime_module>
    #
    # TypesConfig points to the file containing the list of mappings from
    # filename extension to MIME-type.
    #
    TypesConfig /etc/mime.types

    #
    # AddType allows you to add to or override the MIME configuration
    # file specified in TypesConfig for specific file types.
    #
    #AddType application/x-gzip .tgz
    #
    # AddEncoding allows you to have certain browsers uncompress
    # information on the fly. Note: Not all browsers support this.
    #
    #AddEncoding x-compress .Z
    #AddEncoding x-gzip .gz .tgz
    #
    # If the AddEncoding directives above are commented-out, then you
    # probably should define those extensions to indicate media types:
    #
    AddType application/x-compress .Z
    AddType application/x-gzip .gz .tgz .parcel #此处添加.parcel

    #

#重启http服务
[root@localhost bigdata]#systemctl restart httpd

然后重新进行下载parcel,发现就可以进行下载了,问题解决,然后载根据教程进行parcel的安装就OK。希望对你有帮助。

### 手动安装 Cloudera Manager Agent 的操作指南 #### 准备工作 在开始手动安装 `cloudera-manager-agent` 前,需确认以下条件已满足: - 已完成服务器之间的域名解析配置以及 SSH 免密登录设置[^3]。 - 确保目标主机上已经安装并启用了 Yum 软件包管理工具。 #### 安装步骤 以下是具体的手动安装流程: 1. **通过 Yum 安装 `cloudera-manager-agent`** 使用如下命令来安装 `cloudera-manager-agent` 到指定的目标节点上: ```bash yum -y install cloudera-manager-agent ``` 此命令会自动下载并安装所需的依赖项和组件[^1]。 2. **编辑 Agent 配置文件** 编辑 `/etc/cloudera-scm-agent/config.ini` 文件中的 `[General]` 部分,确保其指向正确的 Cloudera Manager Server 地址。例如: ```ini [General] server_host=your-cloudera-manager-server-hostname-or-ip server_port=7182 ``` 3. **启动 Agent 并验证状态** 启动 `cloudera-manager-agent` 服务,并检查其运行状态: ```bash systemctl start cloudera-manager-agent systemctl status cloudera-manager-agent ``` 如果一切正常,则应显示服务正在运行的状态。 4. **目录挂载与清理环境变量** 对于集群内的每台机器 (h1 至 h5),执行必要的目录创建、挂载及清除环境变量的操作。这一步骤可以参考之前的描述进行实施: ```bash mkdir /app mkdir -p /mnt/sdb/app mount --bind /mnt/sdb/app /app echo &#39;mount --bind /mnt/sdb/app /app&#39; >> /etc/rc.local chmod +x /etc/rc.d/rc.local ``` #### 注意事项 - 在多节点环境中部署时,建议逐一完成各节点上的 agent 安装过程后再统一测试连接情况。 - 若遇到网络连通性问题,请核查防火墙规则是否允许端口通信(默认为 7180 和 7182)[^2]。 ```python def check_agent_status(): import subprocess try: result = subprocess.run([&#39;systemctl&#39;, &#39;status&#39;, &#39;cloudera-manager-agent&#39;], capture_output=True, text=True) if "active (running)" in result.stdout: return True else: return False except Exception as e: print(f"Error occurred while checking agent status: {e}") return None if __name__ == "__main__": is_running = check_agent_status() if is_running: print("Cloudera Manager Agent is running.") elif is_running is not None: print("Cloudera Manager Agent is NOT running.") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值