davidweil1的专栏

Kafka Sender线程运行初探步骤一1、获取元数据据步骤二2、判断哪些partition有消息可以发送3、判断partition下的这些批次可以发送出去的条件4、根据元数据信息获取到这个partition的leader partition对应的broker主机5、哪些broker需要发送消息步骤三1、标识还没有拉取到元数据的topic步骤四检查与要发送数据主机的网络是否已经建立好。步骤五需要发送的partition会有很多个，一些partition的leader partit

@TOC图解Kafka内存设计好久没写技术博客了，今天重新捡起来。本节主要介绍Kafka的内存设计内存池设计如上图所示，Kafka为了减少Full GC发生的概率，专门设计了BufferPool这个内存池对象，提高内存的使用效率，减少内存回收次数。整个内存池的大小为32M。内存池包含两个了队列，空内存队列和等待内存队列。申请内存的时，如果空内存队列有内存块并且申请内存的大小等于PoolableSize（16K）时，则提取第一个内存块给申请者使用。否者判断可用内存和空内存队列内存两者之和的大小是否满

大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》  中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。      现在正是学习大