新一的技术笔记

前言 公司发生过kafka的事故，集群挂了导致数据域各种服务都跪了，然后都需要回溯任务。 为啥会发生这种事呢？该怎么处理呢？ 虽然不是op，但是rd还是了解了解也挺有趣的~ 我之前就了解了这个事情，现在写写记录一下~ 事情的大概原因 事情需要脱敏讲讲~ zk集群重启操作，导致脑裂，导致kafka的集群受影响不可用。 一般为啥要重启zk呢，因为会发现某个命名空间的写入量持续增加，就重启了一下。 但是zk的地址填错，比如填本机地址；（程序员经常干这个事） 后面一些异常操作，又导致了有zk启

前言 传送门-尚硅谷kafka基础架构 看了这个视频的学习笔记，同时也买了书和掘金小册。 都一起看看吧~这次找工作不能太着急，要自信一点。 唉，缺乏自信，觉得自己太菜了。 不过，学技术和赚w都是很重要的，并不丢人，加油dk。 概览 图就直接借用了尚硅谷的视频中的图。 需要注意的是： 一个消费组内的消费者a 和消费者b，他们都是对leader分区进行的读写，而且，假如a正在读0号分区，那么同个消费组内的b就读不了这个0好分区了。 zk：zk需要注意的是，0.9版本之前，..

前言 ZooKeeper是什么？一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。 kafka中的zookeeper~ Kafka严重依赖于ZooKeeper集群。所有的broker在启动的时候都会往zookeeper进行注册，目的就是选举出一个controller，controller会读取注册上来的从节点的数据（通过监听机制），生成集群的元数据信息，

不用担心。 来自知乎的答案： https://www.zhihu.com/question/302901830 如果你每天写1TB 的数据，你可以持续400万天 We don't roll back offset at this moment. Since the offset is a long, it can last for a really long time. If you write 1TB a day, you can keep going for about 4 million da