Kafka

最新推荐文章于 2025-11-04 11:02:24 发布

原创最新推荐文章于 2025-11-04 11:02:24 发布 · 402 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #分布式

消息队列 - 教学专栏收录该内容

10 篇文章

订阅专栏

安装ZooKeeper。可以参考https://blog.youkuaiyun.com/zhangningkid/article/details/100518073
修改ZooKeeper中的bin/zkServer.sh文件，添加ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"，如下图，然后启动zookeeper。
官方网站下载kafka, http://kafka.apache.org/downloads
上传至Linux服务器中并解压

tar -zxf ./kafka_2.12-2.4.0.tgz

更改kafka的配置文件 config/server.properties

# broker的id号，只能是数值类型，要求同一个集群中的broker.id必须唯一。
broker.id=0
# 不允许自动创建主题，生产环境上建议关闭。
auto.create.topics.enable=false
#kafka的socket监听地址，改成自己的ip和端口即可。
listeners=PLAINTEXT://192.168.182.128:9092
#kafka的数据存放路径，不建议放在tmp目录下
log.dirs=/tmp/kafka-logs
#kafka中每个主题的默认分区数量，数量越大，平行消费的能力就越强。建议设置成kakfa集群中机器的台数的倍数。
num.partitions=1
#每个topic默认的副本分片的数量
default.replication.factor=3
#zookeeper的连接地址，多个用逗号隔开
zookeeper.connect=192.168.182.128:2181,192.168.182.129:2181,192.168.182.130:2181
#log file中数据保存的小时数
log.retention.hours=72

更改bin/kafka-run-class.sh脚本，增加配置-Djava.rmi.server.hostname=192.168.0.1，指定当前kafka机器的ip, 便于启动kafka的JMX服务，如下:

#JMX settings
if [ -z "$KAFKA_JMX_OPTS" ]; then
  KAFKA_JMX_OPTS="-Djava.rmi.server.hostname=192.168.0.1 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false  -Dcom.sun.management.jmxrem
ote.ssl=false "
fi

更改bin/kafka-server-start.sh中找到堆设置，添加-Dcom.sun.management.jmxremote.rmi.port=9999和export JMX_PORT="9999"，
以及时区和服务启动标识: -Duser.timezone=UTC+0000, -server

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Duser.timezone=UTC+0000 -server -Xmx1G -Xms1G -Dcom.sun.management.jmxremote.rmi.port=9999"
    export JMX_PORT="9999"
fi

启动集群中所有的kafka

./kafka-server-start.sh ../config/server.properties

后台启动

./kafka-server-start.sh -daemon ../config/server.properties