新一的技术笔记

前言公司发生过kafka的事故，集群挂了导致数据域各种服务都跪了，然后都需要回溯任务。为啥会发生这种事呢？该怎么处理呢？虽然不是op，但是rd还是了解了解也挺有趣的~我之前就了解了这个事情，现在写写记录一下~事情的大概原因事情需要脱敏讲讲~zk集群重启操作，导致脑裂，导致kafka的集群受影响不可用。一般为啥要重启zk呢，因为会发现某个命名空间的写入量持续增加，就重启了一下。但是zk的地址填错，比如填本机地址；（程序员经常干这个事）后面一些异常操作，又导致了有zk启

前言传送门-尚硅谷kafka基础架构看了这个视频的学习笔记，同时也买了书和掘金小册。都一起看看吧~这次找工作不能太着急，要自信一点。唉，缺乏自信，觉得自己太菜了。不过，学技术和赚w都是很重要的，并不丢人，加油dk。概览图就直接借用了尚硅谷的视频中的图。需要注意的是：一个消费组内的消费者a 和消费者b，他们都是对leader分区进行的读写，而且，假如a正在读0号分区，那么同个消费组内的b就读不了这个0好分区了。zk：zk需要注意的是，0.9版本之前，..

前言ZooKeeper是什么？一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。kafka中的zookeeper~Kafka严重依赖于ZooKeeper集群。所有的broker在启动的时候都会往zookeeper进行注册，目的就是选举出一个controller，controller会读取注册上来的从节点的数据（通过监听机制），生成集群的元数据信息，

不用担心。来自知乎的答案：https://www.zhihu.com/question/302901830如果你每天写1TB 的数据，你可以持续400万天We don't roll back offset at this moment. Since the offset is a long, itcan last for a really long time. If you write 1TB a day, you can keep goingfor about 4 million da