CDH中服务的配置及启动

最新推荐文章于 2024-06-12 18:02:46 发布
原创 最新推荐文章于 2024-06-12 18:02:46 发布 · 1.3w 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #cloudera #cdh #配置 #端口

本文介绍了在CDH中如何配置和启动HDFS、YARN、Spark、Hive等大数据服务。详细讲解了通过Cloudera Manager界面启动服务的方式，以及手动启动服务的方法。同时，提供了服务配置文件的查找路径，并列举了各服务的常用端口号，如HDFS的默认端口从9000变为8020。此外，还分享了查看Hadoop、Spark和Hive版本的命令。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

提前说明

这里“服务”沿用CDH中的概念，指的是“HDFS”、“YARN”、“Spark”、“Hive”等大数据软件。

各服务的启动

方式一–在Cloudera Manager界面启动

Cloudera Manager启动服务

方式二–手动启动

以Hive为例，

hive --service metastore &
Starting Hive Metastore Server
hive --service hiveserver &
Starting Hive Thrift Server

各服务配置文件的查找

采用如下方式获取Spark的配置，Hadoop的配置获取方式也类似。注意到下面的后续文件都是link，故可以直接将/etc/spark/conf配置为Spark的环境变量。

[root@datanode5 spark-1.3.0-bin-hadoop2.4]
最低0.47元/天 解锁文章

200万优质内容无限畅学
CDH-6.2.0-1 大数据集群安装
Yooloo的博客
09-27 302
CDH大数据集群搭建(centos) 搭建流程 1.选购服务器 2.服务器配置 3.安装CDH 4.集群设置 设置hosts(后续操作均以root用户执行) 1.确定各节点hostname 正确设置： vi /etc/hostname 2.设置hosts： vi /etc/hosts: 192.168.x.x master 192.168.x.x1 slave1 192.168.x.x2 slave2 关闭SELinux及防火墙 1.关闭SE...
CDH部署HDFS详细指南
最新发布
ljw714的专栏
06-19 840
本文详细介绍了使用CDH部署HDFS集群的全过程，主要包括五个方面：1) 环境准备，包括硬件、软件和网络配置要求；2) CDH安装步骤，涵盖Cloudera Manager和CDH组件的安装；3) HDFS配置指南，包含基础与高级配置参数；4) 集群管理方法，涉及服务启动、日常维护和故障处理；5) 最佳实践建议，提供性能优化和安全加固方案。该指南为快速构建稳定高效的HDFS集群提供了全面参考，适用于不同规模的部署需求。
部署CDH以及相关服务启动时的问题与解决方法
热门推荐
fearless11的博客
02-27 3万+
部署CDH以及相关服务启动时的问题与解决方法 （一）系统配置问题   （1）磁盘空间不够     The I/O cache encountered an error while updating data in medium "ahci-0-0" (rc=VERR_BAD_EXE_FORMAT). Make sure there is enough free space on the di
CDH运维列表2
没事看看书
12-11 1788
个人工作以来遇到的问题记录及解决
CDH Service Monitor无响应问题小记
LittleMagic's Blog
01-30 2864
这个问题早在去年9月就被发现了，但是现场保存得不好，只在简书上留了几张截图。并且笔者那时跑到11区浪去了，简书当时也被有司请去喝了一段时间的茶，因此细节没有保留太多，权当留个备忘吧。 故障现象： 机器硬盘告警，提示/tmp写满，在硬盘里有大量Cloudera Manager中Service Monitor服务的堆转储文件。 Cloudera Manager的We...
手动启动hadoop
gaoguiqiang0的博客
03-26 587
/usr/soft/hadoop-2.7.1/sbin/start-dfs.sh /usr/soft/hadoop-2.7.1/sbin/start-yarn.sh
cdh安装及配置
m0_50289266的博客
03-14 5353
cdh安装
CDH各服务设置开机自启动
yedongsheng8238045的博客
07-03 4520
各服务开机自启配置： ntpd： chkconfig ntpd on firewalld : systemctl disable firewalld //启动主节点 [root@cdh1 ~]# cp /opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm...
CDH安装中Mysql配置
菜鸟的博客
07-14 785
MySQL安装配置
CDH配置说明_20200414.docx
04-18
《CDH5.11.1安装配置详解》 CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一个全面的开源大数据平台，包含了Apache Hadoop及其相关项目，提供了一套完整的数据处理和分析解决方案。...
大数据之hadoop（1）二进制简易安装（简单配置之启动）
生而为赢，不负青春！
09-24 420
大数据之hadoop二进制简易安装（简单配置之启动） 本节课主要简单配置hadoop。简单启动。其配置文件简单配置。不做任何说明。 1检查系统环境。 2下载hadoop软件，去官网下载二进制文件。下载相关的官方文档说明。 基本上任何不理解的问题都是官网去查询。 本次hadoop下载是使用hadoop-2.6.0-cdh5.7.0.tar.gz版本 本次使用java版本jdk1.7.0_80。官网有...
CDH常用命令
wj1298250240的博客
06-25 882
#据我理解是重启agent systemctl restart ntpd cloudera-scm-agent https://blog.youkuaiyun.com/qq285016127/article/details/105009998?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159305893919724835833758%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522
使用 CDH(CM) API 通过命令行管理CDH服务 zookeeper kafka
Do
03-25 2082
目录 1.获取集群名称 2.获取集群中所有服务 3.获取zookeeper 和kafka 服务状态 4.关闭/启动/重启集群的所有服务 5.关闭/启动/重启集群中的单个服务（zookeeper,kafka） 6.集群中kafka/zookeeper配置信息查看 7.显示kafka完整配置信息（包括默认配置） 8.修改kafka配置信息 参考： 1.获取集群名称 curl -X get -u admin:admin 'http://localhost:7180/api/v1/clust
CDH 常用指令及问题处理
骑着蜗牛绕地球
03-23 4933
1.常用指令 ## 主节点启动server systemctl start cloudera-scm-server ## 从节点启动agent systemctl start cloudera-scm-agent ## 停止 systemctl stop cloudera-scm-server systemctl stop cloudera-scm-agent service supervisord stop systemctl disable cloudera-scm-server # 关闭开机启动
CDH集群和CM集群安全停止和启动
BlogPan的专栏
08-29 1503
当遇到停电或停电通知情况时一般需要停止CDH集群和CM服务，本文将详细介绍如何安全启停CDH集群和CM服务。
Hadoop安装流程&使用CDH版的Hadoop搭建HDFS环境
m0_45899013的博客
08-17 514
搭建步骤 Linux主机配置 添加IP和hostname的映射关系 ssh免密码登录
CDH大数据平台部署安装（详细）
m0_73800495的博客
06-12 2805
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
Hadoop环境搭建（离线部署CDH版本）
helloWorld的博客
01-29 2305
相比于传统Hadoop繁琐的配置文件与版本管理，CDH提供了一个可以在线搭建Hadoop等组件的集群的系统。只需要现在本地配置好jdk等环境并安装好CM Server和CM Agent服务即可在UI界面控制集群。
CDH6.3.2安装文档
别人笑我太疯癫，我笑他人看不穿。
11-05 2940
安装说明 CDH是一个完善的Apache Hadoop及相关项目的发行版。CDH通过WEB界面管理，并提供了hadoop的两个核心功能：可扩展存储和分布式计算，以及企业级的重要功能。CDH是遵循Apache-licensed的开源软件，提供了基于hadoop的批处理、交互SQL、交互查询、基于角色的访问控制。 Cloudera Manager是一个管理CDH集群端到端的应用。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性及可控性，建立出一套企业部署标准，这可以提高性能、服务质量
CDH5.11.1集群配置指南：使用Cloudera Manager
在配置CDH5.11.1集群的过程中，有几个关键步骤需要注意： 1. **初始化Cloudera Manager**：首先，需要启动Cloudera Manager Server和Agent。Server的地址（例如`192.168.96.141:7180`）可以在浏览器中访问，使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值