解决CDH 安装Kafka服务中的各种问题

最新推荐文章于 2025-02-28 10:53:49 发布
最新推荐文章于 2025-02-28 10:53:49 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据学习 文章标签： CDH Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ctwy291314/article/details/116223511
本文介绍了在CDH中安装Kafka服务时遇到的内存溢出、启动Kafka MirrorMaker失败以及服务启动失败的问题，并提供了针对性的解决方案，包括调整Java堆大小、添加主机信息和解析错误日志以修正broker.id。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通过CDH安装Kafka服务常见问题

一、内存溢出问题

在Kafka配置页面搜索Java调整对应的Java堆大小，如下图操作：

在这里插入图片描述

二、启动Kafka MirrorMaker服务失败提示whitelist must be specified

在这里插入图片描述

在Kafka配置页面搜索Whitelist，添加对应的主机信息

>
三、启动Kafka Broker服务失败，提示配置broker.id 问题

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CDH6.2.1 集群在线安装kafka 和 brokerid报错 以及 连接超时报错 总结
Without_1113的博客
12-28 1332
进入 cloudera manager 点击添加服 选择kafka 然后点击选择主机 本教程选择了三台机器 点击继续进入Review Changes页面 配置zookeeper的目录 配置Java Help Size of Broker (一定要大于512) 点击继续，运行完成后安装成功（如果是首次安装） 因为不是首次安装所以就出现了报错 此时我们点击角色日志 查看报错日志 通过日志可以看出是broker id不匹配的问题 这个时候我们
CDH5.13.1安装kafka服务
zxz306418932的博客
07-19 981
CDH5.13.1安装kafka服务 安装环境： CDH 5.13.1 kafka 3.1.1-1.3.1.1.p0.2 CentOS release 6.10 (Final) java version "1.8.0_131" 安装前准备： cloudera manager管理界面添加服务，会找到kafka服务，但是安装提示如下图： Apache Kafka将发布-订阅消息重新考虑为...
基于CDH版本5.13.3验证Spark Streaming
Darren_tan的博客
07-23 1632
实现背景 由于部门及已上项目使用的是CDH版本大数据平台，为了更好改善在线生产系统日志实时抓取分析。需要加装Kafka作为采集数据源，使用SparkStreaming处理数据。 安装环境 硬件规划 CPU 物理内存 磁盘存储 节点 1核X2颗 Intel Core Processor 2295MH...
CDH 安装Kafka服务的一些小问题
埋雷兽的博客
03-01 5090
一、第一个是比较普遍的问题，内存溢出刚开始配置时大家直接点击主页，离开页面即可。再在配置里修改java内存然后重启就行了二、配置broker.id 问题，可以直接在页面上改成一样的配置Configured broker.id 383 doesn't match storedbroker.id 120 in meta.properties.直接在相关实例的配置里修改三、这是提示添加白名单，在cm集群...
CDH与kafka整合的问题记录
weixin_46628206的博客
03-23 342
CDH 版本：CDH-5.15.0 Spark 版本：SPARK2-2.3.0.cloudera3 OS: centos 6.2 针对CDH的安装以及与kafka的整合遇到的问题进行记录 问题记录 使用 systemctl start cloudera-scm-server 启动时没有反应，也没有生成日志 使用 service cloudera-scm-server start 才行，原因不明...
CDH 5.16.2 Kafka启动Kafka MirrorMaker 失败
Genebrother
03-22 948
如图，点击kafka ，配置----KafkaMirrorMaker ，现在Topic Whiltelist白名单 重启kafka启动，解决无法启动MirrorMaker 的问题
cdh重装后kafka启动失败（broker id遗留问题）
东城庞太师
07-22 767
原因：当前安装的broker id与历史遗留的broker id不匹配！ 排查:cm界面发现broker id分别是 70.71.72，查看历史发现是 290.291.292 解决：去这个目录下面：/var/local/kafka/data，修改meta.properties中的broker.id的值 修改完毕，重启kafka，成功！ ...
CDH平台kafka配置文件以及相关操作
07-07
CDH大数据平台kafka配置文件以及相关操作
CDH卸载kafka重新安装出现的问题
01-08
一个不爽就把kafka暴力删除了，但是因为没有删除干净，导致在CDH内重新安装的时候出现错误，记录一下，估计很少有人遇到 卸载重新安装kafka出现分配失败，缺少json文件的错误，重启电脑，切换cloudera-scm用户，执行...
CDH中重装kafka——清空之前产生的数据（data文件数据与Zookeeper中的数据）
01-20
如果在CDH中安装过Kafka后，后面需要重新安装则可以参考此篇博文。 一、删除Kafka产生的data 重新安装kafka，后面重新分配的kafka一直安装不成功，是因为停用时不会删除已经有点数据。所以需要注意删除 /var/local/...
MySQL主从镜像双机
05-17
1、在主控服务器上执行以下命令，为从服务器创建一人专用的账户： GRANT REPLICATION SLAVE ON *.* TO replic@192.168.1.143 IDENTIFIED BY '123456'; 2、修改主从服务器配置文件 主my.cnf内容： log-bin=mysqlmaster server-id=1
CDH启动KAFKA的broker报错：Failed to restart service
小蚯蚓的博客
02-11 1706
一、问题描述 Cdh的kafka本身有三节点，然后kafka也有三个broker，但是cdh1上的broker无论如何也无法启动，报如下错误:Failed to restart service 二、问题原因 不知为何，进行探索 1.查看日志 重启kafka，然后同时查看kafka日志，好像没报错，没发现什么 [root@cdh1 ~]# tail -f /var/log/kafk...
CDH中添加的Kafka消息不能同步[爬坑过程+总结解决]
JJBOOM425的博客
12-09 2966
首先通过这篇博客我们可以在CDH中安装好Kafka：CDH添加Kafka服务 上面安装好Kafka已经可以创建Topic，并且Topic信息所搭建的集群均可以同步。后面因为还需要测试一下消息传输，发现开启了生产者与消费者后，在生产者发送消息到Topic时报超时，并且消费者也一直没有接受到数据。然后后面一直在解决这个问题到后面一直报异常输出 WARN clients.NetworkClient ，还...
Kafka重装常见错误处理
taipinghai的博客
03-02 2176
Kafka重装常见错误处理 1. 分配Parcel时，久久没有激活，要去手动点击一下激活。我在看那个进程的时候，眼看分配过程完成了，但是后面的“激活”流程走不动，要回到前面的页面手动点击“激活”一下就完成了。中间过程没有截图，完成后的效果。  2. kafka重装时，可能会有新的Broker id和过去残留的broker id不一致。导致kafka broker启动失败。对应的报错信息为：Conf...
kafka数据同步/镜像工具 kafka mirror maker
TURING.DT
09-05 3008
默认安装kafka后有个Kafka MirrorMaker服务，无法启动。 2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker 2016-08-05 15:20:50,356 ERROR kafka.tools.MirrorMaker$: Exception when starting
Kafka 基础教程 — MirrorMaker详解
最新发布
smart_an的专栏
02-28 964
对于Kafka企业级用户而言，一个常见的痛点就是跨机房或跨数据中心(data center,DC)的数据传输。大型企业通常在多个数据中心部署Kafka集群。.这里的数据中心可能是企业拥有的自建机房，也可能是公有云厂商的不同机房。在多个机房部署Kafk集群的优势如下。实现灾备。较近的地理位置可缩短延时以及用户响应时间。实现负载均衡，即每个数据中心上的集群可能只保存部分数据集合。区别隔离不同优先级的数据处理。
CDH中添加并配置kafka服务
a20140724的专栏
08-12 2657
CDH已经安装好，但是kafka一直错，根据日志也没改好，所以删了服务之后，重新添加了kafka服务，完成配置，运行成功。 添加服务->选择kafka 定义kafka Broker，kafka MirrorMaker，Gateway的角色分配，我分别添加了三个节点（master，node01，node02），一个主节点（master），和两个子节点（node01，node02） 配置D...
CDH安装kafka配置
10-14
CDH安装Kafka配置步骤如下： 1. 下载Kafka安装包并解压缩到指定目录。 2. 修改Kafka配置文件config/server.properties，主要修改以下参数： - broker.id：每个Kafka节点的唯一标识，需要在集群中保证唯一。 - listeners：Kafka监听的地址和端口号，需要根据实际情况进行修改。 - log.dirs：Kafka存储数据的目录，需要根据实际情况进行修改。 - zookeeper.connect：Zookeeper的地址和端口号，需要与Zookeeper集群保持一致。 3. 启动Kafka服务，可以使用以下命令： ``` bin/kafka-server-start.sh config/server.properties ``` 4. 创建Kafka主题，可以使用以下命令： ``` bin/kafka-topics.sh --create --zookeeper <zookeeper_host>:<zookeeper_port> --replication-factor <replication_factor> --partitions <partitions> --topic <topic_name> ``` 其中，<zookeeper_host>:<zookeeper_port>为Zookeeper的地址和端口号，<replication_factor>为副本数，<partitions>为分区数，<topic_name>为主题名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gmHappy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值