qq_42265608的博客

log就是seg 找数据就是先找log 再从log去找。index是偏移量索引而timeindex是时间戳索引。这些是存储在分区(分区才是实际的存储)文件中的.seg是逻辑概念 而实际由log存储的.

4.每个消费者都和coordinator保持心跳3s，超时（45s）移除该消费者，或者处理时间过长（超过5分钟），触发再平衡，重新制定消费方案。1.选出coordinator groupid的哈希值%50 这个组下的所有消费者提交offset都往这个分区提交。2.消费者实例到coordinator注册，然后coordinator选出一个consumer leader。获取配置->修改配置->拦截器->序列化器->分区器->sender 到broker。

同步就是，串行，一条龙 异步 一起运行举例： 餐馆点餐同步： 需要等服务员过来，让服务员记录，异步： 点餐APP直接点餐，交给队列，让他自己运行1.实现接口Parititoner,重写相关方法2.修改配置 将partitioner设置为默认配置// 自定义分区器 实现partitioner接口// 1.分区方法@Override// 获取消息// 创建partition 作为最后的分区标识// 分区逻辑// 根据含有的字符串进行判断 判断进入哪个分区。

前端 传到日志 日志传到Flume 传到HADOOP但是如果数据特比大，HADOOP就承受不住了。