小白菜的博客

Elk是Elastic search, Logstash和Kibana三者的简称。Elastic search顾名思义是致力于搜索，它是一个弹性搜索的技术平台，与其相似的有Solr，二者的对比可参考下面这篇文章： Elastic search与Solr选型总结一下就是，如果你不喜欢夜店咖还是喜欢忠实可靠的老婆，那选Elastic search准没错，何况他还有那么一点美。目前运用ES的案例也不少了

在打造集中化日志那篇中，稍微提了下Elastic search。 Elk打造集中化日志Elastic search是Elk的核心，写的时候也重点在它的身上，不过还是觉得深度挖掘得不是太够，所以决定再另写一篇着重介绍下Elastic search。正如那一篇博客提到的，如果你不是喜欢夜店咖，就像千千万万的程序员一样喜欢本本分分的女人，最好再稍微带几分姿色，那选ES准没错。正如Elast

积累器消息的发送是两段式的，Producer只将消息追加到积累器，稍后消息跟随批次被从积累器提取写入网络I/O。 3.0.1 生产者就好比是在向一个分槽的水池注水，每次注入的水必须在同一个水槽，当前水槽剩余水量不足则换另一个，如果一次注入水量大于水槽水位，则按当次注入水量砌槽。当前水槽虽然还有剩余空间，但不能被再次使用，除非该水槽被排水；发送者以水槽为单位排水，一次性排出被排水槽全部水量。总

背景Hadoop的诞生，揭开了数据时代的序幕，从此巨量数据有了廉价的存储和提取方案。但Hadoop的延时性显然不能满足互联时代的实时处理要求，基于用户行为的推荐、当前成交情况的补货预测以及对实时在线的各类指标监控等都要求更好的实时性。Kafka就是在这样的背景下，诞生于Linkedin，它以可靠性和巨量吞吐著称，网上清一色将它归为消息队列，用户按主题发布及订阅流经Kafka的数据，从这角度看它确实是

批次积累器在创建批次之前，就在堆上为它预分配一段空间，这段空间用于装载消息。消息最终会顺序落到内存块中形成消息集。批次的逻辑结构如下： 5.0.1 * MemoryRecords即消息集的抽象，它容纳0到多条Record。 * Record则代表消息在内存中的状态，即按二进制协议格式化之后的消息结构，它是消息集的元素。 * 用户可通过compression.type配置压缩方式，开启压缩