FanGer的博客

kafka常用命令总结

1、kafka是什么? 可以用来做什么?Kafka 是一个分布式的、高吞吐量的、可持久性的、自动负载均衡的消息队列。它不仅可以实现传统意义上MQ功能，异步、解耦、削峰。还可以作为大数据的流处理平台。2、为什么kafka安装需要依赖Zookeeper?配置中心，管理Broker、Topic、Partition、Consumer的信息，包括数据的变动。负载均衡，Broker在ZK注册watch，从而感知Broker的上下线。集群管理和选举，选举产生Controller。3、pull和push

一、生产者原理1、Producer消息发送过程学习和了解Producer的message发送过程，咱们先看下图接下来，我们按照图中的步骤来分析Producer的message发送过程。1.1、创建KafkaProducerProuducer主要由两个线程协调运行。一条是main线程；一条则为sender线程。 KafkaProducer<String,String> producer = new KafkaProducer<String,String>(pros);

1、kafka基本介绍官网文档 中文文档 github地址1.1、kafka发展历史Apache Kafka最初由LinkedIn开发，并在2011年初开源。在2012年10月23日由Apache Incubator（Apache Incubator（阿帕奇孵化器）是旨在成为完全成熟的Apache软件基金会项目的开源项目的通道）孵化出站，成为了Apache软件基金会的项目。2014年11月， Jun Rao、Jay Kreps、 Neha Narkhede等几个曾在领英为Kafka工作的工程师

这里3台机器集群ip如下192.168.0.101192.168.0.102192.168.0.103kafka安装需要依赖zookeeper，我们这里已经在这3台机器上安装了zookeeper集群。1、下载解压kafkacd /usr/local/soft;wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz;tar -xzvf kafka_2.13-2.8.0.tgz;mv kafka_2.13-2.5.0

下载解压kafka获取下载地址（点开具体版本）：http://kafka.apache.org/downloads下载Binary 二进制版本而不是源码复制链接：cd /usr/local/softwget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgztar -xzvf kafka_2.13-2.5.0.tgzcd kafka_2.13-2.5.0启动zookeeperkafka需要依赖ZK，安装包