初识Kafka----个人理解，希望对喜欢kafka的朋友有帮助

1、什么是kafka?

kafka是一个发布订阅系统，主要用作缓存

2、核心概念

首先kafka是一个集群，有很多个节点组成。

Broker['brəʊkə]:节点名称每一个节点称作broker

message  ['mesɪdʒ】:就是指发布到kafka的每一条记录。

Message queue:消息队列

Topic ['tɒpɪk]:就是主题，意思是一类消息。我们发送消息时必须指明主题，它可以是订单topic/日志topic。

partition:分区。一个topic可以有多个partition[一个message只能属于一个topic中的某一个partition。目的是为了让同一个topic的数据分散到不同的broker上，实现负载均衡] 例如：订单topic可以按照ip分为不同的partition，一个partition中的数据在一个broker中存储

repilca  ['rɛplɪkə]:相当于把topic的内部消息存放多分在不同的broke上，相当于备份，保证数据的安全

producer:生产者，负责发布消息到kafka的broker

consumer[kən'sjuːmə]:消费者 指订阅消息。

offset(偏移量):偏移量实际上就是数据的索引，类似于数组中的下标；而在kafka中偏移量则指行号。

3.安装kafka

第一：在使用kafka时先有zookeeper的存在；

安装zookeeper-3.4.5.tar.gz上传到linux上

tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop

mv zookeeper-3.4.5.tar.gz zookeeper

cd /hadoop/zookeeper/conf

mv zoo-s...cfg zoo.cfg

1步：dataDir=/hadoop/zookeeper/data

2步：添加

ckTime=2000

initLimit=10

syncLimit=5

clientPort=2181

在zookeeper下mkdir data--->vi myid--->1 2 3

./zkS...sh start

第二：上传kafka_2.11-0.8.2.2.tgz

tar -zxvf kafka_2.11-0.8.2.2.tgz -C /hadoop

cd  kafka_2.11-0.8.2.2

配置环境变量

1. vi /etc/profile  
2.  export KAFKA_HOME=/hadoop/kafka_2.11-0.8.2.2  
3. export PATH=$PATH:$KAFKA_HOME/bin 

 配置文件server.properties 主要参数

1. broker.id=115  
2. host.name=192.168.8.115  
3. advertised.host.name=192.168.8.115
4. num.partitions=2  
5. log.dirs=/hadoop/zookeeper/kafka-logs  [自己创建的存放kafka日志的文件路径]
6. zookeeper.connect=192.168.8.115:2181

启动服务 之前确保zookeeper 服务是启动的

                 ./bin/kafka-server-start.sh config/server.properties &

这时jps呈现的结果如下：