「hadoop」cdh安装提示当前受管，导致无法选择主机

最新推荐文章于 2024-01-12 16:43:14 发布

转载最新推荐文章于 2024-01-12 16:43:14 发布 · 2.9k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/ftrako/p/7666892.html

文章标签：

#大数据

本文介绍了解决因安装过程被中断而导致所有主机处于不可选状态的问题方法。具体步骤为进入之前创建的集群（例如 namenode:7180），然后删除相关主机。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前安装中断过，导致后面的安装中所有的主机处于当前受管状态，无法选择。

进入之前创建的集群中（即namenode:7180），删除主机即可。

转载于:https://www.cnblogs.com/ftrako/p/7666892.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33860147

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

安装cdh 某个节点不可选

yy的博客

07-19

556

概述由于之前安装一半,后来重新安装导致集群某个节点显示currently Managed. 如下图: 意思是h01已经被集群使用了,你不能一个节点重复加入多个集群. 解决方法确保h01不属于其他集群. 确保h01没有重要数据. 删除h01 再重新搜索就好了. 删除步骤比较繁琐,这里截图记录. 下面截图红色框框表示依次点击的部分. 显示所有被添加到集群的主机勾选主机点击 "停止主机上的角色" 勾选主机选择 "解除授权" 结果如图: 勾选主机...

hadoop基础----hadoop实战(十四)-----hadoop管理工具---CDH移除主机

直到世界的尽头

01-17

1845

注意事项在CDH的Hadoop集群中提供有主机解除授权和将节点移除集群的操作正常情况下节点的解除授权不会导致blocks丢失的情况，但是在某些特殊场景中还是会出现小量blocks的丢失。比如: 1、同时下线的节点数量太多，如果副本数为3，建议最多同时停用2个DataNode进行下线操作，等待下线完成后，进行副本检查没有问题后再下线其他节点 ----也就是说至少保留一个DataNode 2、...

参与评论您还未登录，请先登录后发表或查看评论

CDH6.2.1安装主机已受管却无法选择主机的问题解决

JacksonKing的专栏

02-17

4141

背景：如题，在安装CDH6.2.1的时候，进行到下载parcel到各个节点时卡了，配置的本地parcel，结果发现下载远程的，重新配置后提示我有风险，结果手残选了删除集群，这会节点识别出来后无法继续了解决：进入CM的Host页面：正在上传…重新上传取消正在上传…重新上传取消http://cm机器:7180/ ...

通过接口获取CDH服务器信息,cdh节点不能选择无法纳管全部的节点的一个bug

weixin_29137997的博客

08-12

412

CDH平台搭建过程中主机不受管解决方案

编码强迫症患者

09-16

1万+

序言实验室的集群中一直安装的都是原生的hadoop、hbase等生态圈软件，最近由于给出的一个技术方案涉及到hbase-indexer（虽然目前还没用上），而hbase-indexer暂时没找到Apache版本，需要自己编译，而在本机上好像出现了一些错误...

CDH6.3.1安装

Allenzyg的博客

05-28

6124

CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大我的电脑内存是8G：使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。官方推荐最小内存为10G，所以最好还是听从官方的建...

Hadoop【应用篇】03：大数据平台【集群】【CDH6.2版本】安装部署

weixin_40612128的博客

02-02

6199

Hadoop【应用篇】03：大数据平台【集群】【CDH6.2版本】安装部署

Hadoop【应用篇】02：大数据平台【单机】【CDH6.2版本】安装部署

weixin_40612128的博客

02-02

3248

Hadoop【应用篇】02：大数据平台【单机】【CDH6.2版本】安装部署

搭建5个节点的hadoop集群环境（CDH5）

热门推荐

陌上花开

05-18

6万+

搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。一、硬件准备基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位

大数据系列 | CDH6.2大数据平台安装部署、原理和使用介绍

背锅神童的博客

01-12

878

本文使用CDH6.3.2手把手指导搭建Hadoop集群环境

Centos7 CM5和CDH5(5.9.0) 离线安装

Myself_way的专栏

02-04

8420

Centos7 CM5和CDH5(5.9.0) 离线安装概述文件下载环境搭建安装Cloudera Manger 日志查看安装问题汇集

cdh删除kafka topic

liuwei0376的专栏

05-14

950

在删除kafka topic时，有时候会发现无法彻底删除的情况，这里以cdh这个版本的 kafka 作为实验版本。环境说明：环境 & 软件版本 LinuxOS CentOS 7 CDH cdh5.16.2 kafka 0.11.0 ，基于ClouderaManager 以 parcel方式安装核心配置： 1、topic自动删除开关置为true delete.topic.enable=true 也可以在这里配置： 2、自动创建topic设置为false aut

cdh集群搭建(6.3)

前方的路在刚开始

07-19

4210

6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....

Hadoop之CDH安装

dongyunlon的专栏

03-30

2万+

1. 离线数据存储及查询环境部署离线数据的存储与查询主要是以hadoop为中心的技术栈，包括hive，hbase，hue，kylin等。部署hadoop的方式比较流行的主要有三种： 1. 直接部署Apache Hadoop，即手工部署，需要自己配置，协调版本兼容等，好处是能够加深理解，但是过程较繁琐。 2. Ambari ：Hortonworks的产品，用于创建，管理，监视hadoop集群...

CDH6.2.0集群搭建

ytangdigl的博客

10-27

768

1、准备工作 1.1 首先我们要准备三台centos7机器，这三台centos7机器的ip、hostname分别为 IP hostname 192.168.1.11 master 192.168.1.12 slave01 192.168.1.13 slave02

CDH常见错误之主机添加

予挚之的博客

03-24

2494

集群添加主机时出现的错误问题

CDH安装过程中遇到的问题

qq_40337206的博客

10-01

1391

hostname 阿里云新机器的机器名是一个实例的名字，对于用户来说这个名字是很不友好的，需要根据用途重新定义机器名在hadoop001机器上执行 hostnamectl set-hostname hadoop001 在hadoop002机器上执行 hostnamectl set-hostname hadoop002 在hadoop003机器上执行 hostnamectl set-hostnam...

CDH平台的Kafka

最新发布

07-24

<think>我们正在使用CDH平台管理Kafka，CDH提供了Cloudera Manager作为管理界面，可以通过其Web UI查看Kafka的消费积压情况。步骤： 1. 登录Cloudera Manager（CM）的Web界面。 2. 进入Kafka服务页面。 3. 使用Kafka自带命令工具（通过CM的“运行命令”功能）或者通过CM提供的监控图表来查看消费积压。具体方法如下： ### 方法1：通过Cloudera Manager的图表监控（适用于整体监控） Cloudera Manager默认提供了一些Kafka的监控指标，但可能不会直接展示每个消费者组的LAG。我们可以通过自定义图表来添加消费者组的LAG监控。操作步骤： 1. 在CM中进入Kafka服务页面。 2. 点击“图表”标签页（Charts）。 3. 在图表页面，我们可以添加自定义图表，但是需要确保已经收集了相关指标。默认情况下，CM可能没有收集每个消费者组的LAG指标，因此需要先配置Kafka的监控设置。注意：CDH中的Kafka默认使用Yahoo Kafka Manager（现在称为CMAK）来管理，但Cloudera Manager本身也集成了部分监控。如果CM中没有现成的LAG图表，我们可以通过以下方法： ### 方法2：使用CM的“运行命令”功能执行kafka-consumer-groups命令 1. 在CM的Kafka服务页面，点击右上角的“运行命令”按钮（Run Command）。 2. 选择“运行Kafka命令”（Run Kafka Command）。 3. 在命令类型中选择“Consumer Groups”。 4. 选择“Describe Group”操作，然后输入消费者组名称。 5. 执行命令，即可看到该消费者组的积压情况（LAG）。但是这种方法需要手动输入消费者组名称，适合临时检查。 ### 方法3：通过CM的“复制命令到剪贴板”功能，然后在集群节点上执行 1. 在CM的Kafka服务页面，点击“实例”标签页（Instances）。 2. 选择一个Kafka Broker实例，点击“进入实例”的链接。 3. 在该实例的页面，点击右上角的“运行命令”按钮，选择“复制命令到剪贴板”（Copy Command to Clipboard）。 4. 然后我们可以通过SSH登录到该节点，执行复制的命令，并加上我们需要的参数。例如： ```bash kafka-consumer-groups --bootstrap-server <broker_list> --group <group_id> --describe ``` 其中<broker_list>是Kafka Broker的地址（如：broker1:9092,broker2:9092），<group_id>是消费者组名称。 ### 方法4：配置Kafka的JMX监控并集成到CM 我们可以配置Kafka的JMX端口，然后通过CM的监控系统来采集JMX指标。具体步骤： 1. 在CM中进入Kafka服务配置页面。 2. 搜索“Kafka Broker 的 Java 配置选项”，添加： ``` -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9999 ``` 注意：每个Broker的端口需要不同，避免冲突。 3. 重启Kafka服务。 4. 然后在CM的图表配置中，可以添加JMX指标来监控消费者组的LAG。但是，这种方法需要自己定义监控指标，较为复杂。 ### 方法5：使用CMAK（Kafka Manager）如果CDH中已经安装了CMAK（Cloudera Manager Apache Kafka），则可以通过CMAK查看消费积压： 1. 打开CMAK的Web界面（默认端口9000）。 2. 选择对应的集群。 3. 在“消费者”菜单中，选择消费者组，即可看到LAG信息。注意：CDH中默认可能没有安装CMAK，需要单独安装。 ### 总结对于CDH平台，最简单的方式是使用方法2（通过CM的“运行命令”功能）或者方法3（在节点上执行命令）来查看消费积压。如果希望持续监控，建议配置方法4（JMX监控）或者安装CMAK（方法5）来实现。由于CDH版本不同，具体操作可能略有差异，请根据实际环境调整。如果上述方法无法满足，还可以考虑使用Kafka自带的命令行工具在集群节点上直接执行，或者编写脚本定期采集并展示。相关问题： 1. 如何在CDH中安装CMAK来管理Kafka？ 2. 如何配置Cloudera Manager的图表来监控Kafka消费者组的LAG？ 3. 如何通过脚本自动化监控CDH中Kafka的消费积压？</think>在 CDH（Cloudera Distribution for Hadoop）平台上查看 Kafka 消费积压，可以通过以下方法实现： ### 一、通过 Cloudera Manager 查看（推荐） 1. **登录 Cloudera Manager Web UI** 2. 导航到 **Kafka 服务页面** 3. 在顶部菜单选择 **"图表"（Charts）** 4. 添加监控图表： - 在指标筛选器中输入 `kafka_consumer_lag` 或 `kafka_consumer_group_lag` - 选择需要监控的消费者组和主题 5. 查看实时图表： - 绿色区域：正常消费（LAG≈0） - 红色/黄色区域：积压告警（LAG持续增长） > ![CDH Kafka Lag 监控示例](https://docs.cloudera.com/documentation/kafka/latest/images/kafka_consumer_lag.png) > *图：CDH 中的 Kafka 消费者积压监控面板 [^1]* ### 二、使用命令行工具（通过主机终端） 1. **SSH 登录 Kafka Broker 节点** 2. 执行命令： ```bash /opt/cloudera/parcels/KAFKA/bin/kafka-consumer-groups \ --bootstrap-server $(hostname):9092 \ --group your_consumer_group \ --describe ``` 3. 关键输出列： - `CURRENT-OFFSET`：当前消费位移 - `LOG-END-OFFSET`：分区最新位移 - `LAG`：积压消息数 ### 三、配置实时告警在 Cloudera Manager 设置阈值告警： 1. 进入 **Kafka 服务 > 配置** 2. 搜索 `alert` 配置告警规则： ```json { "name": "HighKafkaLag", "expression": "kafka_consumer_group_lag > 10000", "severity": "CRITICAL" } ``` 3. 配置通知方式（邮件/Slack/Webhook） ### 四、使用 CDH 监控 API 获取数据 ```bash curl -u admin:password \ "http://cm-host:7180/api/v19/timeseries?query=SELECT kafka_consumer_group_lag WHERE entityName=kafka_service" ``` 返回 JSON 包含各消费者组的实时积压数据 ### 注意事项 1. **权限要求**： - 命令行操作需要 `kafka` 用户权限 - API 访问需要 CM 管理员账号 2. **数据延迟**： - Web UI 监控有 1-3 分钟延迟 - 实时数据建议通过 API 获取 3. **分区级监控**： - 当单个分区 LAG 突增时，可能是消费者负载不均导致[^2] > 提示：CDH 6.x 及以上版本默认集成了 Kafka Lag Exporter，可通过 `http://kafka-broker:8000/metrics` 直接获取 Prometheus 格式指标 --- **

「hadoop」cdh安装提示 当前受管，导致无法选择主机

「hadoop」cdh安装提示当前受管，导致无法选择主机