weixin_39034379的博客

1. 比赛题目分析https://tianchi.aliyun.com/competition/entrance/531922/information主要分为两阶段 性能测评 和 正确性测评。消息必须落盘 会做断电重新测试topic之间不存在并发操作问题队列特别多傲腾【读写效率和内存差距不大】如何更有效率的存储数据缓存设计2.存储方案RokcetMq 和 Kafka 都是利用文件系统存储消息的消息中间件。因此本次比赛的设计方式也是借鉴了Kafka 和RocketMq 的方式去存储数据

Kafka 2.8 移除Zookeeper 集群搭建下载解压tar xzf kafka_2.12-2.8.0.tgzcd kafka_2.12-2.8.0单机环境模拟集群cd config/kraftcp server.properties server1.propertiescp server.properties server2.propertiescp server.properties server3.propertiesserver1node.id=1process

Kafka 生产者剖析”生存还是毁灭，这是一个问题。“ 是的对Kafka来说这个曾经受万人追捧的分布式消息引擎，现在倒还真有点跌入神坛的趋势。因为Pulsar（消息系统的新贵）仿佛正在全面替代Kafka。Kafka真的不行了吗？答案个人觉得是否定的 固然Pulsar有着Kafka没有的存储和计算分离的设计，Pulsar在大数据大集群的租户管理上确实也要比Kafka更好。但是Kafka2.8版本推出了社区呼吁已久的操作移除了Zookeeper，使用Kraft来进行代替，虽然只是测试版本，但是官方实测

Kafka2.8最新情报1.1 Kafka2.8取代zookeeper的原因ZooKeeper是一个文件一致性系统基础上的特殊 filesystem/trigger API 。Kafka是 一致性文件系统上的pub / sub API, 这导致系统的人员去调优、配置、监视、保护和判断 通信和新能 在两个日志实现、两个网络层和两个安全实现（并且每个都有不同的 distinct tools and monitoring hooks），这都是一些不必要复杂度。这些固有的并且不必要的负责度，加速了kafka的改

下载以及安装下载地址 http://download.kafka-eagle.org/解压安装包kafka.eagle.zk.cluster.alias=cluster1,cluster2cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181cluster2.zk.list=xdn1:2181,xdn2:2181,xdn3:2181# Add zookeeper aclcluster1.zk.acl.enable=falsecluster1.zk.ac

1.什么是重平衡2.什么场景会造成重平衡3.Rebalance 的优势与劣势

高性能网络处理框架Kafka服务端处理请求的方式 采用了Reactor 模型，并对其进行了扩展。

kafka 日志段加载Kafka 日志段存储Kafka 日志段切分

Kafka运维Topic主题管理创建主题#2.2版本 社区推荐使用bootstrap-server 代替 zookeeper #好处 #1.使用zk会绕过 kafka的安全体系验证#2.使用 --bootstrap-server 与集群进行交互，越来越成为使用 Kafka 的标准姿势bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name --partitions 1 --

kafka Consumer Group注：本文主要参考极客时间专栏 Kafka核心技术与实战1.Consumer Group作用：Consumer Group 是kafka提供的可扩展且具有容错性的机制。Consumer Group 图解如下：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y4HhRbNW-1598233269215)(/Users/zy1994/Library/Containers/com.tencent.xinWeChat/Data/Libr

1.Producer简介Kafka Producer 就是负责向Kafka 服务端,写入数据的程序。Kafka 支持多种Producer库，主流的编程语言都覆盖到了。但是除了Java其他的语言都是由非Apach Kafka社区的人进行维护的。有其他语言的客户端需求，可以去这个网址去下载相应的信息。kafakclients链接2.构造Producer2.1简单构造1.构建配置文件首先第一步是进行用户鉴权的操作（如果Kafka集群需要的话）然后需要配置的三个主要参数broker的地址k

1 准备工作安装本地jdk环境，建议1.8+2.Zookeeper 集群搭建1.下载安装包，进行安装2.两个重要文件zoo.cfgmyidzoo.cfg 配置的dataDir 目录下创建 标明当前zk在集群环境中的IDzoo.cfg的配置：# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase

1.ZookeeperZookeeper对Kafka集群的管理操作主要是用了它的两个功能节点（临时节点【zookeeper重启删除】持久节点）watch机制老版本的劣势（完全使用Zookeeper进行管理）：Zookeeper进行完全进行kafka集群管理的劣势：完全依赖于Zookeeper进行管理，每个Broker会在Zookeeper上为分区和副本注册大量的Watcher。当分区和副本发生变化的时候，会唤醒很多不必要的Watcher。会造成脑裂、羊群的效应。会造成Zookeeper过

1.消息详解消息详解请参考我的另一篇文章 kafka日志详解2.副本机制2.1 副本机制的好处1.提供数据冗余副本的第一个好处就是提供数据冗余。2.提供高伸缩性支持横向扩展，并发读，通过提升机器的数量，来增加系统的吞吐量。3.改善局部数据将不同的副本数据放到不同的地点，可以优化每个地点的系统延时2.2 Kafka副本机制Kafka副本的专有名词是Replica，Replica 定义，同一个分区的所有副本保存着相同的数据，分散在不同的Broker上，所以首先要知道R

1.重置Kafka消费者组位移的好处重设消费者组的位移，是Kafka区别与其他的消息队列的一个重要的区别，也是Kafka的一个特色。也叫做消息重演（replayable）。传统的消息队列比如RabbitMq和ActiveMq 消息一旦被消费，就会被删除，Kafka因为它的两个特性 1.日志存储并且是持久化的方式 2.coordinator管理消费者组的位移。让我们可以对消费者组的位移操作的管理更加灵活。在说怎样重设位移之前，需要先介绍consumer的一个参数概念auto.offset.reset:指

首先我们要知道Kafka本质上使用Java NIO的ByteBuffer来保存消息。好处：ByteBuffer是紧凑的二进制字节结构，不浪费空间。1.消息版本变迁1.1V0版本Kafka在0.10.0版本之前都是采用V0版本的消息格式如下表格所示为V0版本的一条Record的组成及其含义：Record-字段--含义-Record headCRC校验码4个字节CRC校验码，校验范围为magic到value之间，用于确保消息再传输过程中不会被恶意篡改Record he

1.kafka安全简介kafka社区在0.9.0.0版本正式添加了安全特性，并且在0.10.0.0版本中进一步完善。Kafka的安全特性有如下几个方面：1.连接认证。服务端与客户端、服务端之间、等等。支持两种认证机制SSL（等价于我们经常使用的TLS）和SASL2.Zookeeper 与服务端的认证。3.基于SSL的连接通道数据传输加密4.客户端读写权限5.支持可插拔的授权服务和与外部授权服务的集成。认证(authentication)和授权(authorization)认证：证明自

Kakfa为什么这么快？（一）1.为什么这么快？kafka为什么这么快，就是kafka再各个层面做了各种各样的优化，尽可能的把资源最大化的利用kafka做的优化主要有以下几个方面：1.Producer批处理2.PageCache（读写缓存的使用）3.ZeroCopy4.Kafka服务端处理请求的方式5.顺序读写6.分区机制，以及消费者组的使用7.消息格式的演变，以及压缩消息最主要的就是v2版本提取消息公共属性，使用可变长参数的优化8.摒弃消息的SRC校验（但是损失了安全性，

Kafka简介1.kafka是什么1.1 Messaging Systemkafka作为一个消息引擎具备哪些优势？1.集成两种传统消息引擎的优点。传统的消息引擎有两种模式：queuingpublish-subscribequeuing的缺点是消息不能重复消费，一个cosumer消费完后其他的consumer就不能再进行消费。publish-subscribe 的缺点是，所有的consumer需要都去订阅主题（或者队列）这样就失去了扩展性，所有的consumer都要去订阅消费消息。ka