搭mongodb+zookeeper+kafka环境

本文档详细介绍了如何搭建mongodb、zookeeper和kafka环境。首先,介绍了解压mongodb并启动mongod的过程,注意配置文件中的路径设置。接着,针对zookeeper的安装,强调了需要先安装java,解决可能遇到的系统与jdk位数不匹配的问题,并完成了zookeeper配置及启动。最后,简单说明了启动kafka的步骤,通过修改server.properties文件,并利用zookeeper进行管理。整个过程简洁明了,便于日后参考。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

先说最简单的mongodb

1.解压mongodb的包

2.启动命令为 ./bin/mongod --config ./config/mongod.conf

需要主意的点:修改mongod.conf中的内容与mongodb文件的解压目录(*path)要匹配

systemLog:
  destination: file
  path: /home/mongodb/log/mongod.log
  logAppend: true

storage:
  journal:
    enabled: true
  dbPath: /home/mongodb/data/puf_sfap
  directoryPerDB: true
  engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 10
      directoryForIndexes: true

net:
  port: 31017

processManagement:
  fork: true
  pidFilePath: /home/mongodb/log/master.pid

然后是稍微复杂的zookeeper

首先要安装java。这里我碰到一个小问题,执行java命令的时候,zookeeper报:no such file or ....,表示找不到javahome,再单独执行java,会发现/lib/ld-linux.so.2: bad ELF interpreter: no such file or directory,其实是系统是64位而jdk是32位的问题,只需要执行一下 yum install glibc.i686 www.2cto.com就可以了。

然后进入zookeeper安装目录下的 conf/ 目录下,将zoo_sample.cfg复制到zoo.cfg,修改里面的内容,我的例子是这样的:

initLimit=10
syncLimit=5
clientPort=2181
tickTime=2000
dataDir=../data
zoologdir=../log
dataLogDir=../datalog 

server.77=slave-01:2888:3888     
server.76=slave-02:2888:3888     
server.75=slave-03:2888:3888     
其中的slave-01 02 03在/etc/hosts中配置一下即可,格式为:slave-01 xxx.xxx.xxx.xxx,xxx是ip地址。

接下来需要分别在每个机器上,往上面指定的 dataDir目录中下如一个叫 myid 的文件,里面的值,跟server.  这个 "." 后面跟的数字要一样,在我这里就是77,76,75。


然后配置就完成了,进入bin,./zkServer.sh start即可启动。


验证启动,可以在bin下,./zkServer.sh status查看,是leader还是follower。


启动了zookeeper之后,kafka就变得很简单了。

进入kafka安装目录下的config/目录,修改server.properties文件:

port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=104857600
socket.receive.buffer.bytes=104857600
socket.request.max.bytes=1048576000
#log.dirs=/wls/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=10.20.22.77:2181,10.20.22.76:2181,10.20.22.75:2181
zookeeper.connection.timeout.ms=60000

broker.id=76
host.name=10.20.22.76
log.dirs=/data/kafka-logs76

其中的log.dirs需要自己去mkdir,zk的地址要和自己配置的集群匹配,然后broker.id就是自己这个机器的编号,host.name就是自己的ip。

然后就可以去zk目录下,执行

bin/kafka-server-start.sh config/server.properties
还学到一招,这样执行ctrl+c就退出了,要用nuhup xxx & 来启动,后台启动。

总的来说都是配一下就OK了,记录一下,以后要用就可以翻一下。

参考资源链接:[大数据驱动的电商个性化推荐系统设计与实现](https://wenku.youkuaiyun.com/doc/359t21k2qt?utm_source=wenku_answer2doc_content) 为了实现一个高效且实时的电商推荐系统,需要合理整合MongoDB、Spark、ZookeeperKafka等大数据技术。MongoDB作为NoSQL数据库,能够高效存储和查询大量的非结构化数据,是收集和存储用户行为日志的理想选择。在用户行为分析之前,首先需要设计一个合适的数据模型,以便能够有效地管理和挖掘数据。 Spark作为一个强大的大数据处理框架,能够实现快速的数据处理和分析,包括用户行为分析和推荐算法的计算。通过Spark的MLlib机器学习库,可以实现复杂的推荐模型,并进行模型训练和评估。 Kafka作为分布式的消息系统,负责在不同的系统组件间传递消息,特别是在处理实时数据流时,能够保证数据的高效传输。对于用户行为的实时分析,可以将用户的实时行为数据通过Kafka流入Spark Streaming进行实时处理。 Zookeeper则用于系统的服务协调和配置管理,确保系统的高可用性和稳定性。它能够在分布式环境下提供一致的配置信息,以及管理分布式锁、同步和命名空间等。 综合以上技术,推荐系统的关键步骤如下:首先,用户行为数据被收集并存储在MongoDB中;然后,利用Kafka将这些数据实时传输到Spark进行处理和分析;接着,通过Spark的机器学习算法生成推荐;最后,将推荐结果通过业务系统实时返回给用户。通过这种整合方式,可以建立起一个快速响应用户需求,提高用户满意度和商业效益的个性化推荐系统。进一步深入了解这些技术整合的细节和实施过程,建议参考《大数据驱动的电商个性化推荐系统设计与实现》一文。这篇文章详细介绍了推荐系统的架构设计、系统实现以及技术细节,是解决当前问题的重要参考资源。 参考资源链接:[大数据驱动的电商个性化推荐系统设计与实现](https://wenku.youkuaiyun.com/doc/359t21k2qt?utm_source=wenku_answer2doc_content)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值