jsky_studio的专栏

Log Segment: 一个Segment包含两个组件(component): log文件和index文件; 每个Segment有一个基本偏移量(baseOffset)log文件记录的是真实的kafka message;index文件记录的是message逻辑偏移量offset和物理文件位置之间的映射。（1） Segment文件命名规则：[base_offset].index 和

IBM的文档还是很有质量的。这篇关于Scala的入门介绍，值得推荐下：http://www.ibm.com/developerworks/cn/java/j-lo-funinscala2/

有时候需要把一个应用程序开启为后台进程，目前的理解如下：以一个 ping程序为例:    $ ping www.baidu.com                     ===> 开启一个前台程序    $ ping www.sohu.com &                  ===> 开启一个后台程序，但该后台程序和当前的bash(shell)属于一个进程组， 且属于相同会话（

介绍整合flume和kafka的文章很多。最近正好学习并动手实践了一回，记下自己的一些心得。Flume简介flume是 Cloudera 开发的实时日志收集系统。她包含三个重要组件，就是source(采集读入数据)， sink(输出数据）和channel（source和sink之间的buffer)。值得一提的是， flume支持一个source采集数据，并通过多个c

学习笔记，仅供参考。===> 表示调用关系:Kafka main函数 ( Kafka.scala , kafka-0.8.1-src/core/src/main/scala/kafka )===> KafkaServerStartable类 ( KafkaServerStartable.scala, kafka-0.8.1-src/core/src/main/scala

总结下自己在尝试Kafka分区迁移过程中对这部分知识的理解，请路过高手指正。关于Kafka数据迁移的具体步骤指导，请参考如下链接: http://www.cnblogs.com/dycg/p/3922352.html  原文作者写的非常清晰。本文主要侧重自己对相关Kafka源代码的理解：generateAssignment（）函数 （对应上述链接原文中的  --

I0Itec-zkClient是Kafka中使用的Zookeeper客户端, 其功能有如下特点:1) 支持ZK断链重连------通常都要求它能够在断链的时候,重新建立连接,无论session失效与否.2) event监听器------类似ZK Watch机制。用过原生态Java ZK客户端的同学应该知道，每次需要监听event 时,都需要再注册一遍相关znode的watch,比较

最近又看了一遍Kafka官方文档中对于Replication的介绍，以下总结自己的理解作为读书笔记。未把文章设为翻译类型，因为并非直译文档。Replication简介        Kafka中的Replication功能是为了给每个partition提供备份，当某个Broker挂掉时可以迅速实现故障切换（failover)。我们可以在创建或修改topic时指定replica

学习Kafka的读书笔记，暂未把文章设为翻译类型，因为并非直译文档。水平有限，还请路过高手指正。 “最多(发送)一次”（At most once）：消息可以丢失但绝不会重新发送； “至少(发送)一次”（At least once)：消息绝不会丢失但是可能会被重新发送； “仅（发送）一次”（Exactly once)： 这是实际应用中最希望看到的，每个消息只会被发送一次且不会丢失；

本文记录自己的一些理解，盼路过高手指正。先解释下两个概念：high watermark (HW)        它表示已经被commited的最后一个message offset(所谓commited, 应该是ISR中所有replica都已写入)，HW以下的消息都已被ISR中各个replica同步，从而保持一致。HW以上的消息可能是脏数据：部分replica写成功，但最终失败了。

1.ProducerRecord 含义: 发送给Kafka Broker的key/value 值对2.内部数据结构：-- Topic （名字）-- PartitionID ( 可选)-- Key[( 可选 )-- Value3.生产者记录（简称PR）的发送逻辑: 若指定Partition ID,

Kafka进程被强制退出（kill -9)后重启，碰到如下问题：FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)java.lang.IllegalArgumentException: requirement failed: C