一、kafka介绍
1,kafka简单介绍
kafka是一款分布式、支持分区的、多副本,基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。
2,kafka使用场景
1,日志收集:可以用kafka收集各种服务的日志 ,通过已统一接口的形式开放给各种消费者。
2,消息系统:解耦生产和消费者,缓存消息。
3,用户活动追踪:kafka可以记录webapp或app用户的各种活动,如浏览网页,点击等活动,这些活动可以发送到kafka,然后订阅者通过订阅这些消息来做监控。
4,运营指标:可以用于监控各种数据。
3,kafka基本概念
kafka是一个分布式的分区的消息,提供消息系统应该具备的功能。
名称 |
解释 |
broker |
消息中间件处理节点,一个broker就是一个kafka节点,多个broker构成一个kafka集群。 |
topic |
kafka根据消息进行分类,发布到kafka的每个消息都有一个对应的topic |
producer |
消息生产(发布)者 |
consumer |
消息消费(订阅)者 |
consumergroup |
消息订阅集群,一个消息可以被多个consumergroup消费,但是一个consumergroup只有一个consumer可以消费消息。 |
二、kafka的安装
#下载安装包并解压 tar -xzvf
#修改配置文件
#默认端口号 #修改日志位置 #zk地址
#启动 ./kafka-server-start.sh -daemon ../config/server.properties
cd /usr/local //进入local
mkdir kafka //创建文件夹
cd kafka
//将文件长传到 kafka文件夹里面去
tar -xzvf kafka_2.11-2.4.0
//进入conf修改配置文件
listeners=PLAINTEXT://127.0.0.1:9092
log.dirs=/usr/local/kafka/kafka-logs
zookeeper.connect=101.43.142.241:2181
进入bin目录下启动
以守护线程的方式启动:kafka-server-start.sh -daemon ../config/server.properties
带有日志文件启动::kafka-server-start.sh ../config/server.properties
启动成功: