cdh安装kafka 重装问题

最新推荐文章于 2022-03-10 20:31:53 发布
最新推荐文章于 2022-03-10 20:31:53 发布
阅读量1.8k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lvtula/article/details/90079505
本文详细介绍了在CDH界面删除Kafka数据的具体步骤，指出仅通过界面操作无法完全清除数据，需手动清理Kafka集群节点的数据目录及Zookeeper中对应的主题记录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉

【CDH】Cloudera manager 卸载并重新安装某一个节点
菜鸟叔叔的博客
03-11 2576
完美卸载CDH一个节点并重新安装
CDH的卸载
muyingmiao的专栏
10-25 1197
1.卸载前的规划 1.1 做镜像备份 1.2 关闭集群 及 MySQL服务 1.3 删除部署文件夹 /opt/cloudera* 1.4 删除数据文件夹 2.卸载集群 2.1 确认各服务组件的存储数据目录，以HDFS YARN ZK为例 /dfs/nn /dfs/dn /dfs/snn YARN /yarn/nm ZK /var/lib/zookeeper 2.2 关闭集群 及 MySQL服...
CDH卸载kafka重新安装出现的问题
01-08
一个不爽就把kafka暴力删除了，但是因为没有删除干净，导致在CDH内重新安装的时候出现错误，记录一下，估计很少有人遇到 卸载重新安装kafka出现分配失败，缺少json文件的错误，重启电脑，切换cloudera-scm用户，执行删除命令rm -rf KAFKA-3.1.0-1.3.1.0.p0.35，每个节点都执行一次， 然后发现报的错误在一个一个小时，然后可以重新激活 另外： 如果一直处于激活状态无法回退，可以通过CDH的restful命令去回退 http://${cloudera-managerIP}/api/v16/clusters/{clusterName}/parcels /pro
CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题...
weixin_34007906的博客
01-16 547
cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉 转载于:https://www.cnblogs.com/RzCong/p/10276256.html...
Kafka topic删除后，提示为- marked for deletion
weixin_38846022的博客
10-25 8342
查看topic信息 ./kafka-topics.sh --list --zookeeper 192.169.2.103:2181 topic后面为marked for deletion，则表示topic没有真正被删除 首先查看kafka配置文件有没有添加 delete.topic.enable=true 没有的话，加上，重启kafka再次查看topic列表是否有删除 如果topic还是为m...
Kafka彻底删除topic
愤怒的小兵
06-10 3575
kafka默认仅做删除标记，并没有真实删除，若要真实删除topic 方法一：修改配置文件server.properties并进行重启 server.properties添加：delete.topic.enable=true，然后重启 删除测试 # 创建topic > ./bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2180 --replication-factor 1 --partitions 1 --topic test Created
CDH中重装kafka——清空之前产生的数据（data文件数据与Zookeeper中的数据）
01-20
如果在CDH中安装过Kafka后，后面需要重新安装则可以参考此篇博文。 一、删除Kafka产生的data 重新安装kafka，后面重新分配的kafka一直安装不成功，是因为停用时不会删除已经有点数据。所以需要注意删除 /var/local/...
CDH6.3.1安装
Allenzyg的博客
05-28 6150
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
impala-3.2.0安装教程（centos7无需安装CDH）
weixin_43899386的博客
08-26 7014
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 导语：已安装...
CDH6 kafka如何彻底删除topic及数据
80工龄程序员
06-30 816
标题CDH6 kafka如何彻底删除topic及数据 删除kafka topic及其数据，发现都会偶然出现无法彻底删除kafka的情况。本人亲测并总结了以下流程。 第一步： 设置 auto.create.topics.enable = false，默认设置为true。如果设置为true，则produce或者fetch不存在的topic也会自动创建这个topi。同时需要认真把生产和消费程序彻底全部停止。 第二步： 在CDH界面，找到kafka的配置，或者server.properties设置delete.to
kafka集群部署及仍然存在的问题
luohandsome的专栏
09-15 4107
一、kafka使用心得： 1.实际上chroot是在kafka/config/server.properties中设置。 2.在kafka进程启动之前，要先在zookeeper上创建好chroot对应的目录 3.kafk进程启动后，会在chroot下面创建以下的目录 consumers : 用来记录消费者的信息，下面的目录是对应consumer指定的group.id config : 用
CDH6.2.1安装Kafka出现的问题
SunnyRivers
12-12 1746
前言 之前用的CDH 5.6.X版本，默认是没有Kafka的，刚刚搭建了一个新的集群，用的CDH6.2.1，自带了kafka不需要我们下载parcels包 根据以往在CDH安装组件的经验，应该是非常easy的，没想到… 问题一 这里我选择了五台Broker，其他的不需要填写，在启动的时候报错： 在网上搜了一圈，大概说是因为集群中broker默认都为0！！！我们必须得手动改为唯一的。 于是我把...
CDH完全卸载教程
qq_32068809的博客
06-18 6088
适用于各版本CDH卸载 1、停止集群
CDH 完全卸载脚本
justlpf的专栏
02-07 877
参考文章：CDH 完全卸载脚本 CDH集群的安装部署对系统环境的影响非常大，在不重装操作系统的前提下，完全卸载干净是比较困难的。 难点在于需要删除的东西太多，不删干净了非常容易造成安装失败。通过反复尝试，终于写了一个一键式删除CDH脚本，经过测试是可行的。 删除脚本文件remove_cloudera.sh内容如下： #!/bin/bash # 停止CM服务 service cloudera-scm-server stop service cloudera-scm-agent stop #
卸载并且重装Kafka
qq_42009405的博客
03-10 6335
卸载Kafka 连接Zookeeper客户端 sh zkCli.sh -server 127.0.0.1:2181 删除Kafka在ZK上的节点，如图所示，有consumers，admin，config，controller，brokers，controller_epoch等节点 rmr /path 安装Kafka 去官网下载对应版本的压缩包 https://kafka.apache.org/downloads 解压缩对应文件 tar -zxvf kafka_2.12-2.6.0.tg
重装kafka后不能消费原topic数据。
游荡边缘的博客
08-02 778
问题环境: 1.单kafka服务 问题复现:重装kafka服务后flink不能消费数据。 问题查找历程: 1.首先查看flink的日志信息，看到有: 从上面的日志怀疑是flink本身的检查点保留了kafka的偏移量导致的，根据查找相关资料并不影响flink获取数据 2.打开flink的Debug有关kafka日志 找到flink的安装目录:/opt/flink-1.6.3(我自己...
kafka如何彻底删除topic
TURING.DT
05-31 2019
网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic，但是并没有成功，用kafka-topics.sh命令查看依然可以查看到topic，应该怎样才能彻底删除topic？ 一、**kafka 0.8.1.1以及之前版本** 都无法使用类似一条命令就彻底删除topic，此命令不过只是在zookeeper注销信息而已，但是
CDH安装kafka配置
最新发布
10-14
CDH安装Kafka配置步骤如下： 1. 下载Kafka安装包并解压缩到指定目录。 2. 修改Kafka配置文件config/server.properties，主要修改以下参数： - broker.id：每个Kafka节点的唯一标识，需要在集群中保证唯一。 - listeners：Kafka监听的地址和端口号，需要根据实际情况进行修改。 - log.dirs：Kafka存储数据的目录，需要根据实际情况进行修改。 - zookeeper.connect：Zookeeper的地址和端口号，需要与Zookeeper集群保持一致。 3. 启动Kafka服务，可以使用以下命令： ``` bin/kafka-server-start.sh config/server.properties ``` 4. 创建Kafka主题，可以使用以下命令： ``` bin/kafka-topics.sh --create --zookeeper <zookeeper_host>:<zookeeper_port> --replication-factor <replication_factor> --partitions <partitions> --topic <topic_name> ``` 其中，<zookeeper_host>:<zookeeper_port>为Zookeeper的地址和端口号，<replication_factor>为副本数，<partitions>为分区数，<topic_name>为主题名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值