[大数据技术与应用省赛学习记录五]——模块一（Kafka安装配置）

大数据平台环境搭建——Kafka安装配置

一、下载及安装Kafka

[大数据技术与应用省赛学习记录一]——软件准备
压缩看参考前期hadoop与spark的相关博客
[大数据技术与应用省赛学习记录二]——模块一（HADOOP完全分布式集群搭建）
[大数据技术与应用省赛学习记录三]——模块一（SPARK安装配置）

二、相关配置

server.properties ——在/kafka/config目录下

broker.id=4#myid中是几这就写几
port=9092
host.name=master#主机名
advertised.host.name=master#主机名
delect.topic.enable=true #删除topic的参数
advertised.listeners=PLAINTEXT://master:9092#修改为自己的主机名
log.dirs=/software/kafka/logs #log存放位置
num.partitions=3#分区数
zookeeper.connect=master:2181,hadoop1:2181,hadoop2:2181:hadoop3:2181

因为使用kafka当中会使用到zookeeper，所以这里我们配置以下zookeeper
这里使用zookeeper有两种方法

Zookeeper安装配置

1. 使用kafka自带的zookeeper(在/kafka/bin目录下)

#前台启动方式
[hadoop@master bin]$ ./zookeeper-server-start.sh ../config/zookeeper.properties
#后台启动方式