笔生花的博客

因为经常要用kafka环境参与测试，所以写了不少脚本。在很多时候可以大大提高测试的效率。topic数据传输【file数据录入到topic,topic数据下载到本地文件】此文件是个额外的日志文件主要用于打印日志，该文件会被下面的shell文件引用。topic信息查看【topic列表，topic groupid 消费情况】脚本中做了各种检查，日志的输出做了颜色区分，用起来没啥问题。topic的管理【创建，删除】

一：kafka轮询1：正常情况下来说，kafka轮询消费的意思就是客户端从kafka中获取数据是通过分批获取的方式，每隔一段时间获取一批数据。2：但是能否正常在间隔时间内去拉取数据，要看你的业务处理逻辑是否在这个间隔时间内完成，如果在间隔时间内，处理逻辑还没有结束的话，kafka poll就不会去获取数据，这样的话kafka集群就会认为你这个消费者已经死亡了，就会触发reblance...

实际上当生产者将数据存入kafka的时候并非可以及时就被读取的，kafka的副本要从分区首领同步消息同步完成的副本被称为活跃副本，在某些时候可能并非所有的副本都可以在一定的时间内完成数据的复制，这个时候这样的副本被称为非活跃状态。在消息没有被写入所有的 同步副本之前是不可以被读取的。此时尝试获取消息会返回null. 看下面这些话。 replica.lag.time.ms默认是10秒，...

ps:越努力越幸运。你要思考一些一些问题，决定吞吐量的因素有哪些？第一点： 数据传输的效率肯定是离不开网络的。第二点： 就越是你数据的产生的速度，如果网络足够了，但是数据产生的速度不够也依旧达不到瓶颈。第三点： 就是你需要达到什么样的效率，这个时候就要将网络性能是否满足你的需求做一个详细的评估了。这就叫做量力而行嘛， 你网络不够还非要要求那么高那就尴尬了。想让马儿跑，不给马儿吃...