Zong_0915的博客

同样地这篇文章主要学习胡夕老师的相关文章。其中的一些截图也是来自于它。消费组（）是提供的可拓展并且具有容错性的消费者机制。 有三个特性：因为消费组机制，可以同时实现了传统的消息队列模型和发布订阅模型： 本质上是一种协议，规定了一个 下的所有 如何达成一致，来分配订阅 的每个分区。消费组发生的触发条件有三种：其实也就是重新分配分区，让其均匀分布在各个上。这是其一个重要的功能，但是它也有很多缺点，例如：前者好理解，后者其实并不需要将所有的实例和分区之间的分配关系给打乱重排。因为我们从上一章Kafka复习计

我们知道，只有Broker成功提交消息并且Producer端接收到Broker的应答才会认定为消息发送成功。倘若消息在成功发送到Broker的前提下，但是Broker的应答却因网络波动等因素没有返回，那么此时Producer端无法确定消息是否真的提交成功，只能通过重试来再次发送消息。因此Kafka会提供至少一次的可靠性保障，但是这会导致消息重复发送。那么如何保证消息只有一条并且消息不会丢失也不会被重复处理呢？幂等性。事务性。...

背景：一般用来收集应用服务器的日志数据，但是这个数据量又是非常庞大的，基本上每分钟产生的日志大小都能以GB为单位。问题：如何将庞大的数据量均匀地分配到Kafka的各个Broker上？回答：靠的是的分区机制。上一章Kafka基础知识我们提到了的三级消息结构：主题-分区-消息。官网图：使用分区的目的：提供负载均衡的能力。实现系统的高伸缩性。首先来说下如何自定义分区，在代码编写层面，实现自定义的接口，实现方法即可：自定义完自己的分区实体类后，通过设置参数即可实现自定义的分区。接下来来说下几种常见的分区策略。

本次复习主要是看的胡夕老师的核心技术与实战，讲得很好，主要是查缺补漏。是一种消息引擎系统。负责的事情也很简单：对于传输的消息编码格式的选择：纯二进制的字节序列。中传输消息的模型有两种：为什么要使用？（或者A系统为什么不能直接把消息发送给B系统？）回答：削峰填谷和其他的区别在哪？比如和如何选择？备注：消息传输协议和这一类网络通信协议是不同的！一般两个进程之间进行数据流的交互有三种方式：那竟然调用和发，其本质都是不同进程之间数据流的一个交互，那么和的区别又是什么？属于分布式的消息引擎系统。主要提供一套完备的消息

深入理解Kafka系列（八）--Kafka的流式处理系列文章目录前言正文流式处理的相关概念流式处理的设计模式单个事件处理使用本地状态多阶段处理和重分区使用外部查找---流和表的连接流与流的连接乱序的事件重新处理Streams示例字数统计Streams的架构概览对拓扑进行伸缩总结系列文章目录Kakfa权威指南系列文章前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文数据流是一个无边界的数据集的抽象表示。无边界也就是意味着无限和持续增长，现实中可以理解为随着时间的推移，新的数据会不断

深入理解Kafka系列（七）--管理Kafka系列文章目录前言正文主题操作创建主题增加分区其他操作消费者群组偏移量管理动态配置变更覆盖主题的配置项覆盖客户端的配置其他相关操作分区管理首选的首领选举修改分区副本转储日志片段消费和生产控制台生产者控制台消费者不安全的操作总结系列文章目录Kakfa权威指南系列文章前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文本篇文章主要从Kafka的一些脚本工具来介绍。主题操作创建主题在集群当中创建一个主题需要用到3个参数（必须提供）。主

深入理解Kafka系列（六）--Kafka数据管道系列文章目录前言正文Kafka Connect运行ConnectConnect Demo1：文件数据源和文件数据池Connect Demo2：从Mysql到ES深入理解Connect总结系列文章目录Kakfa权威指南系列文章前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文Kafka其实就像一个数据管道，基本上他的定位是作为一个中间件，我们数据流入到Kafka，让Kafka管理，然后数据从Kafka当中流出到需要的地方。那么Kaf

深入理解Kafka系列（五）--Kafka可靠的数据传递系列文章目录前言正文总结系列文章目录Kakfa权威指南系列文章前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文总结本文大概从这么几个方面进行概述：...

深入理解Kafka系列（四）--Kafka的复制存储以及请求处理过程系列文章目录前言正文总结系列文章目录深入理解Kafka系列（一）–初识kafka深入理解Kafka系列（二）–Kafka生产者深入理解Kafka系列（三）–Kafka消费者前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文总结本文大概从这么几个方面进行概述：...

系列文章目录深入理解Kafka系列（一）–初识kafka深入理解Kafka系列（二）–Kafka生产者深入理解Kafka系列（三）–Kafka消费者

深入理解Kafka系列（三）--Kafka消费者系列文章目录前言正文Kafka消费者Kafka消费者和消费者群组分区再均衡Kafka消费者API消费者DemoKafka消费者参数详解总结系列文章目录1.深入理解Kafka系列（一）–初识kafka1.深入理解Kafka系列（二）–Kafka生产者前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文Kafka消费者Kafka消费者和消费者群组往往我们创建消费者对象，订阅主题并开始接受消息，然后再把他们验证保存起来。若生产者往主题

深入理解Kafka系列（二）--Kafka生产者系列文章目录前言正文Kafka生产者Kafka发送消息的主要步骤创建Kafka生产者（API）Kafka生产者参数详解Kafka生产者发送方式详解序列化器自定义序列化器Demo使用自定义序列化器的缺点：总结系列文章目录1.深入理解Kafka系列（一）–初识kafka1.深入理解Kafka系列（二）–Kafka生产者前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文Kafka生产者Kafka发送消息的主要步骤首先放图：向Kafk

深入理解Kafka系列（一）--初识kafka系列文章目录前言正文Kafka介绍Kafka的几个相关概念为什么选择Kafka安装Kafka安装zookeeper安装kafkaKafka配置文件的几个常规配置详解broker有关配置：主题的一些默认配置总结系列文章目录1.深入理解Kafka系列（一）–初识kafka前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文Kafka介绍kafka是一种基于发布与订阅的消息系统，一般叫做“分布式流平台”。kafka的数据会按照一定的顺序持久

kafka知识整理系列二kafka分区策略什么情况下会分区分区方式有哪些Range Strategy（也是默认的使用策略）RoundRobin Strategykafka的RebalanceCoordinatorRebalance的步骤：kafka的日志清除策略kafka的TCP链接管理生产者创建TCP的3种情况生产者/消费者关闭TCP的2种情况消费者创建TCP的3种情况kafka控制器组件ControllerController 的作用kafka分区策略什么情况下会分区同一个Consumer Gr

Kafka知识整理系列一Kafka生产者一个简单的生产者demo生产者的几种发送模式以及重要参数Kafka消费者消费者和消费者组的概念消费者的消费步骤：Kafka消息的存储存储的地址存放文件目录的组成kafka查看日志的命令Partition如何根据offset去查找信息kafka副本机制一些kafka专业术语kafka副本的作用有哪些Kafka生产者我们用java去写一个kafka生产者，通常有以下步骤及参数需要设置配置Properties参数。Properties相当于一个配置文件，配置信息都