centos7-kafka_2.12-2.3.1集群搭建

原创

已于 2022-02-08 16:52:26 修改 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #zookeeper

于 2022-02-08 15:53:21 首次发布

本文详细介绍了在CentOS7环境下，如何配置和搭建kafka_2.12-2.3.1集群，包括jdk的安装、zookeeper集群的搭建以及kafka集群的配置和验证。特别强调了版本对应的重要性，如kafka对jdk版本的要求，以及zookeeper集群中myid的设置。

1、准备
环境准备很重要，尤其是版本对应，如果不注意jdk和kafka的版本，kafka和zookeeper的版本，中间会报一些奇奇怪怪的错。对应准备的版本：

三台服务器：192.168.20.126,192.168.20.127,192.168.20.128（以下操作均为三台服务器）
kafka：kafka_2.12-2.3.1
jdk：jdk-8u241-linux-x64.tar.gz（注kafka对jdk版本要求比较高，最好严格限定jdk版本号）否则会报 java.net.UnknownHostException: hostname 异常
zookeeper： zookeeper-3.4.14（kafka有内置的zookeeper，如果不知道zk应该用哪个版本，可以再kafka中查看对应的版本号）。

2、 jdk安装配置

# 下载jdk，解压
tar -zxvf jdk-8u241-linux-x64.tar.gz
# 配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_241
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# 配置生效
source /etc/profile

jdk版本造成异常及解决：

异常：

java.lang.VerifyError: Uninitialized object exists on backward branch 209
Exception Details:
  Location:
    scala/collection/immutable/HashMap$HashTrieMap.split()Lscala/collection/immutable/Seq; @248: goto
  Reason:
    Error exists in the bytecode
  Bytecode:
    0000000: 2ab6 0064 04a0 001e b200 c1b2 00c6 04bd
    0000010: 0002 5903 2a53 c000 c8b6 00cc b600 d0c0
    0000020: 00d2 b02a b600 38b8 0042 3c1b 04a4 0155
    0000030: 1b05 6c3d 2a1b 056c 2ab6 0038 b700 d43e
    0000040: 2ab6 0038 021d 787e 3604 2ab6 0038 0210
    0000050: 201d 647c 7e36 05bb 0019 59b2 00c6 2ab6
    0000060: 003a c000 c8b6 00d8 b700 db1c b600 df3a
    0000070: 0619 06c6 001a 1906 b600 e3c0 008b 3a07
    0000080: 1906 b600 e6c0 008b 3a08 a700 0cbb 00e8
    0000090: 5901 b700 ebbf 1907 3a09 1908 3a0a bb00
    00000a0: 0259 1504 1909 bb00 1959 b200 c619 09c0