搭mongodb+zookeeper+kafka环境

最新推荐文章于 2025-06-22 08:46:07 发布

原创最新推荐文章于 2025-06-22 08:46:07 发布 · 4.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#zookeeper #mongodb #kafka #集群 #环境搭建

J2EE 专栏收录该内容

5 篇文章

订阅专栏

本文档详细介绍了如何搭建mongodb、zookeeper和kafka环境。首先，介绍了解压mongodb并启动mongod的过程，注意配置文件中的路径设置。接着，针对zookeeper的安装，强调了需要先安装java，解决可能遇到的系统与jdk位数不匹配的问题，并完成了zookeeper配置及启动。最后，简单说明了启动kafka的步骤，通过修改server.properties文件，并利用zookeeper进行管理。整个过程简洁明了，便于日后参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先说最简单的mongodb

1.解压mongodb的包

2.启动命令为 ./bin/mongod --config ./config/mongod.conf

需要主意的点：修改mongod.conf中的内容与mongodb文件的解压目录（*path）要匹配

systemLog:
  destination: file
  path: /home/mongodb/log/mongod.log
  logAppend: true

storage:
  journal:
    enabled: true
  dbPath: /home/mongodb/data/puf_sfap
  directoryPerDB: true
  engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 10
      directoryForIndexes: true

net:
  port: 31017

processManagement:
  fork: true
  pidFilePath: /home/mongodb/log/master.pid

然后是稍微复杂的zookeeper

首先要安装java。这里我碰到一个小问题，执行java命令的时候，zookeeper报：no such file or ....，表示找不到javahome，再单独执行java，会发现/lib/ld-linux.so.2: bad ELF interpreter: no such file or directory，其实是系统是64位而jdk是32位的问题，只需要执行一下 yum install glibc.i686 www.2cto.com就可以了。

然后进入zookeeper安装目录下的 conf/ 目录下，将zoo_sample.cfg复制到zoo.cfg，修改里面的内容，我的例子是这样的：

initLimit=10
syncLimit=5
clientPort=2181
tickTime=2000
dataDir=../data
zoologdir=../log
dataLogDir=../datalog 

server.77=slave-01:2888:3888     
server.76=slave-02:2888:3888     
server.75=slave-03:2888:3888

其中的slave-01 02 03在/etc/hosts中配置一下即可，格式为：slave-01 xxx.xxx.xxx.xxx，xxx是ip地址。

接下来需要分别在每个机器上，往上面指定的 dataDir目录中下如一个叫 myid 的文件，里面的值，跟server. 这个 "." 后面跟的数字要一样，在我这里就是77，76，75。

然后配置就完成了，进入bin，./zkServer.sh start即可启动。

验证启动，可以在bin下，./zkServer.sh status查看，是leader还是follower。

启动了zookeeper之后，kafka就变得很简单了。

进入kafka安装目录下的config/目录，修改server.properties文件：

port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=104857600
socket.receive.buffer.bytes=104857600
socket.request.max.bytes=1048576000
#log.dirs=/wls/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=10.20.22.77:2181,10.20.22.76:2181,10.20.22.75:2181
zookeeper.connection.timeout.ms=60000

broker.id=76
host.name=10.20.22.76
log.dirs=/data/kafka-logs76

其中的log.dirs需要自己去mkdir，zk的地址要和自己配置的集群匹配，然后broker.id就是自己这个机器的编号，host.name就是自己的ip。

然后就可以去zk目录下，执行

bin/kafka-server-start.sh config/server.properties

还学到一招，这样执行ctrl+c就退出了，要用nuhup xxx & 来启动，后台启动。

总的来说都是配一下就OK了，记录一下，以后要用就可以翻一下。