菜鸟不会飞

          写这一篇关于消息队列Kafka的入门介绍是因为之前做的项目中应用到这一消息中间件，从环境搭建到简单应用，到最后一些深入的研究与分析，在这个过程中还是有很多知识点可以分享学习的，另外活到老，学到老，还是动动手指，记录一下学习kafka过程中的点点滴滴。    1、环境安装（ubuntu下安装kafka） （1）首先需要安装java环境（jdk1.8）       这块就不...

Kafka是消息分布式订阅-发布系统。应用场景：在线应用（消息）和离线应用（数据文件，日志）。 首先让我们回顾下几个基本的消息术语       - kafka 维护的类别称为主题的消息源。       - 我们调用生产者处理发布消息到kafka 主题。       - 我们调用消费者处理订阅的主题，处理发布的主题的消息源。       - kafka 运行在一个或者多个称为broker的服务的集...

kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。 本文将针对Kafka性能方面进行简单分析，首先简单介绍一下Kafka的架构和涉及到的名词： 1. Topic：用于划分Message的逻辑概念，一个Topic可以分布在多个Broker上。...

前沿：           首先从整体流程介绍一下kafka的使用架构流程图（多个producer、一个topic，一个分组，三个partition、一个分组下的三个consumer）： （1）多个producer可以往一个topic发送消息，同时多个Consumer可以注册该topic，消费该数据。 （2）简单理解topic,Topic在逻辑上可以被认为是一个queue，每条消费都必须...

相关环境： ubuntu版本：16.04 kafka版本：kafka_2.11-0.11.0.0 1、安装步骤 1、将解压后的kafka文件夹复制到/usr/local下面 2、进入到/usr/local/kafka/conf         cd /usr/local/kafka/conf 3、更改配置文件         vim server.properties 1、以下是...

Kafka的高可用 目录 一、高可用的由来 1.1　为何需要Replication 1.2　Leader Election 二、Kafka HA设计解析 2.1　如何将所有Replica均匀分布到整个集群 2.2　Data Replication（副本策略） 三、HA相关ZooKeeper结构 3.1　admin 3.2　broker 3.3　contr...

  Kafka在zookeeper中的存储 目录 一、Kafka在zookeeper中存储结构图 二、分析 2.1　topic注册信息 2.2　partition状态信息 2.3　Broker注册信息 2.4　Controller epoch 2.5　Controller注册信息 2.6　补充Consumer and Consumer group 2.7　Co...

Kafka分布式集群安装 目录 一、下载 二、安装前提（zookeeper安装） 三、安装 2.1　上传解压缩 2.2　修改配置文件 2.3　将kafka的安装包分发到其他节点 2.4　创建软连接 2.5　修改环境变量 三、启动 3.1　首先启动zookeeper集群 3.2　启动Kafka集群服务 3.3　创建的topic 3.4　查看topic...