CDH5-Cloudera-Agent部署&Parcels部署

最新推荐文章于 2024-03-22 17:15:53 发布
原创 最新推荐文章于 2024-03-22 17:15:53 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在CDH5环境下，通过Cloudera Manager进行Cloudera-Agent的部署以及使用Parcels方式安装，详细步骤包括选择Cloudera Express，配置远程Parcel存储库URL，设置自定义存储库，不安装JDK，禁用单用户模式，调整swap设置以及关闭大页面等关键操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

http://116.207.129.116:7180/cmf/login admin admin

1.选择Cloudera Express

2.

192.168.0.129
192.168.0.5
192.168.0.75

3.

Parcel:更多选项

远程 Parcel 存储库 URL：全删了

复制这个进去http://192.168.0.129/cdh_parcel/（内网IP）

选择 CDH 的版本：CDH-5.10.0-1.cdh5.10.0.p0.41

选择您要安装在主机上的 Cloudera Manager Agent 特定发行版：自定义存储库：http://192.168.0.129/cm5/redhat/6/x86_64/cm/5/（https改成http，内网地址）

4.JDK不安装

5.不启用单用户模式

6.设置swap

Cloudera  建议将 /proc/sys/vm/swappiness  设置为 10. 当前设置为 60.

使用 sysctl 命令在

最低0.47元/天 解锁文章

200万优质内容无限畅学
安装CDH出现file /opt/cloudera/parcels/.flood/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel...does not exist
黄智霖的博客
05-22 1万+
使用Cloudera Manager采取parcel方式安装CDH的时候，部分agent节点出现异常： Src file /opt/cloudera/parcels/.flood/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel does not exist 查看对应age...
Cloudera Manager 5.14.X 安装部署（中）
留不住斜阳的博客
09-04 570
安装Server和Agent 方式一（path A installer-采用嵌入式PostgreSQL数据库） 前置条件：（CM集群每个节点都要实现） ​ 1）修改系统文件句柄数； ​ 2）修改swap交换区空间； ​ 3）禁用hugepage透明大页； ​ 4）关闭防火墙和selinux； ​ 5）修改主机名和映射文件； ​ 6）实现免秘钥登录； ​ 7）搭建共享源； ​ 8）配置好ntp时间同步服务； ​ 9）安装JDK； 1. 安装CM Agent
CDH Parcels 离线安装
shanelisy的专栏
01-09 4687
Installation Path A - Automated Installation by Cloudera Manager 要求所有机器都能连网，而且外国网站不太稳定。一旦失败，重装非常痛苦。 Installation Path B - Manual Installation Using Cloudera Manager Packages 设置Red Hat/CentOS或者Debia
CDH安装服务和下载parcels包
qq_38344394的博客
09-17 3216
使用CDH在集群上安装应用。 点击Cluster1右侧向下的箭头，选择添加服务，按照步骤走即可。 下载parcels文件。 配置好只有，页面会进行刷新，然后点击下载即可。...
CDH Parcel包制作流程详解
weixin_40670099的博客
12-28 5651
CDH Parcel包制作流程详解 背景介绍 CDH可以很方便的添加一些大数据相关服务，但这仅限于cloudera公司提供。若想将第三方服务（如公司自己开发的组件）添加到CDH集群（托管在CDH上），需要按照一定的规则流程制作相关程序包，最后发布到CDH上。 本文以开源项目dolphinscheduler的master服务打包成parcel包部署为例，详解cdh parcel包的制作详细流程。 相关规则介绍 一个完整的集成到CDH的parcel包应包含如下几个包： ●parcel：以“...
CDH安装：tar包+parcel, 自动化脚本
eyeofeagle的博客
08-06 1625
基本组织架构 角色 启动的服务 使用的脚本 cm-server cloudera-scm-server, cloudera-scm-agent server.sh cm-agent cloudera-scm-agent agent.sh 脚本安装： 所用到的文件及目录 ├── agent.sh ├── server.sh ├── cdh │ ├── CDH-5.12.0...
CDH-5.7.0：基于Parcels方式离线安装配置
weixin_30887919的博客
09-20 176
http://shiyanjun.cn/archives/1728.html https://www.waitig.com/cdh%E5%AE%89%E8%A3%85.html 转载于:https://www.cnblogs.com/diyunpeng/p/9683085.html
【CDH部署】全网最简单CDH6.2.0环境部署
01-07
官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/ 百度网盘下载链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3 主机规划 sparkproject1 manager 8G 50GB sparkproject2 agent...
CDH5.7.6-CentOS6安装
weixin_44224310的博客
07-05 602
1.概述 本文档主要描述离线环境下，CentOS6.7操作系统部署CDH5.7.6 的过程。本安装文档主要分为3个步骤： 1.环境准备（包括hostname、关闭防火墙、关闭SELinux、时钟同步等） 2.安装Cloudera Manager Server 3.安装CDH集群 1.1.环境预置 操作系统：CentOS 6.7 JDK: 1.8.0_171 Mysql版本：5.1.73 CM版本...
cdh升级zookeeper3.6.3集成parcels包cloudera Manager
这个人很懒。
02-16 1451
cdh升级zookeeper3.6.3以及集成parcels包
5年大数据专家，教你CDH-5.7.0：基于Parcels方式离线安装配置
2401_83384536的博客
03-22 773
使用CDH，我们可以通过Cloudera提供的CM（Cloudera Manager）来进行安装，CM是一个面向Hadoop相关软件的强大SCM工具，它提供了通过Web界面向导的方式进行软件的安装配置，此外还提供了比较基础、友好的监控、预警功能，通过Web UI展示各种已安装软件的资源使用情况、系统运行状态等等。这里，做为开发环境使用，我们没有安装配置NameNode、ResourceManager的高可用（HA），如果需要可以参考官网文档进行配置。
CDH6.3.2集群部署2—集群安装
一点见解
05-14 542
Cloudera Manager 远程 Parcel 存储库 URL,CDH6.3.2集群部署1—CM服务安装文章中python启动服务的地址加上cm/cdh6.3.2/parcels/CDH，例如我的为 http://192.168.42.144:7180/cm/cdh6
CDH6.3.1安装
Allenzyg的博客
05-28 6139
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
CDH5.10 ubuntu14.04部署文档--离线安装
youbo_sun的专栏
03-15 2954
CDH5.10 ubuntu14.04部署文档 --离线安装 1. 说明 本次部署使用台机器，4台用于搭建CDH集群，1台为内部源。内部源机器是可以连接公网的，可以提前部署好内部源（内部源服务器是已经存在的ubuntu14.04服务器），4台CDH集群服务器是无法连接内外。本次部署涉及到的服务器的hosts配置如下： 192.168.0.230    cdh01 192.168.0.23
ELK系列(六)、CDH6集成Elasticsearch服务(交由CM管理)
楠先生
09-04 893
小菜鸟的个人博客已经正式上线且对外开放啦… 博客访问地址：小菜鸟的大梦想 欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号 前言 本文穿插讲述如何将Elasticsearch服务集成至CHD，最终将服务交给Cloudera Manager统一管理。 本司线上使用CDH5，暂未升级至CH6，此处以CDH6版本进行集成制作，方式差异不大。 制作 Elasticsearch 的 Parcel 包和 csd 文件 配置Java、Maven环境 此处默认已配置完成，不再讲述，其中Mav.
安装Cloudera manager agent步骤详解
weixin_33806300的博客
10-01 565
　　　　　　　　　　　　　安装Cloudera manager agent步骤详解 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。   　　本篇博客主要是针对：https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manage...
cdh集群搭建(6.3)
前方的路在刚开始
07-19 4216
6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....
Cloudera Manager6.3.1+CDH6.3.2本地仓库方式搭建（超详细版）
weixin_39338423的博客
09-04 7730
博客是根据官方文档的安装教程整理而成的，有不清楚的地方建议多加阅读官方文档！
cloudera manager安装
星辰大海，脚踏实地
08-09 1720
cloudera manager安装
/var/lib/cloudera-scm-agent/active_parcels.json这个文件时怎么生成的
最新发布
03-12
好的，我现在需要回答用户关于Cloudera Manager中`/var/lib/cloudera-scm-agent/active_parcels.json`文件生成方式的问题。首先，我需要回忆一下Cloudera Manager的架构和工作流程，尤其是parcel分发的机制。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值