
kafka
谷雨hadoop
qq号648380139,欢迎大数据爱好者交流
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka_2.9.2-0.8.1.1 deploy部署
环境:jdk1.6,centos(64位)原创 2014-09-26 10:46:34 · 1179 阅读 · 0 评论 -
auto.offset.reset解释
auto.offset.reset largest What to do when there is no initial offset in ZooKeeper or if an offset is out of range: * smallest : automatically reset the offset to the smallest offset * largest : aut原创 2015-01-27 20:36:17 · 5230 阅读 · 1 评论 -
storm-kafka spout获取数据的异常解决办法
20391 [Thread-8-kfkaSpout] WARN storm.kafka.KafkaUtils - Got fetch request with offset out of range: [140885176]; retrying with default start offset time from configuration. configured start offset t原创 2015-01-09 13:50:51 · 6817 阅读 · 1 评论 -
[WARN] Network error when fetching messages:storm-kafka-0.8导致kafka读取数据丢失
2015-01-09T16:17:10.090+0800 s.k.KafkaUtils [WARN] Network error when fetching messages: java.net.ConnectException: Connection refused at sun.nio.ch.Net.connect0(Native Method) ~[na:1.7.0_51]原创 2015-01-09 17:44:18 · 2805 阅读 · 0 评论 -
kafka+storm集成并运行demo-单机
1,安装环境jdk1.7,kafka_2.9.2-0.8.1.1.tgz ,zookeeper-3.3.6.tar.gz,apache-storm-0.9.2-incubating.tar.gz 2,安装kafka: I,配置kafka/conf/server.properties # The id of the broker. This must be set to a unique i原创 2014-12-13 22:12:00 · 5792 阅读 · 0 评论 -
KafkaSpout的核心逻辑都是由PartitionManager来实现的。
KafkaSpout的核心逻辑都是由PartitionManager来实现的。 但是这个类实现时候需要考虑的东西有些多,0.92至0.93,至当前(2015.3.14)的master一直在变化。在这里,先分析一下最近的发布版0.93里的逻辑。也提出一些问题,希望以后Apache Storm会把这个类实现地更完美一些。 PartitionManager的主要功能 Partition转载 2015-04-09 15:02:26 · 686 阅读 · 0 评论