
kafka
iteye_17216
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka Rest : Confluent
最近拿到一个kafka rest的需求,但kafka暂时还没有提供rest api(应该是有在开发中,毕竟rest这么火),上网搜了一下,找到一个Confluent Platform,本文简单介绍一下安装。 这里插一句,给大家推荐一个九尾搜索,原名叫谷粉SOSO,不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了,出来之后用度娘搜技术问题,那匹配度简直感人。 环境声明:Ubu...2015-07-01 17:53:11 · 325 阅读 · 0 评论 -
Kafka MirrorMaker实践
最近准备使用Kafka Mirrormaker做两个数据中心的数据同步,以下是一些要点: mirrormaker必须提供一个或多个consumer配置,一个producer配置,一个whitelist或一个blacklist(支持java正则表达式) 启动多个mirrormaker进程,单个进程启动多个consuemr streams, 可以提高吞吐量和提供容 mirrormake...2016-04-20 17:35:14 · 796 阅读 · 0 评论 -
KafkaConsumer0.9(三)
Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test_group"); props.put("enable.auto.commit", "true"); props.put("auto.co2016-01-18 10:49:54 · 166 阅读 · 0 评论 -
KafkaConsumer0.9(二)
先看一个简单的KafkaConsumer例子: Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test_group"); props.put("enable.auto.commit", "true");2016-01-12 15:36:02 · 186 阅读 · 0 评论 -
KafkaConsumer0.9(一)
Kafka0.9发布了新版consumer client。它与旧版本最大的区别是移除了基于zookeeper的high-level consumer和low-level SimpleConsumer,而代之于一个统一的consumer API,它集成了之前high-level consumer的group管理功能和low-level consumer的offset控制功能。 新的cons...2016-01-12 15:05:43 · 155 阅读 · 0 评论 -
Kafka Connect
Kafka Connect是Kafka0.9新增的模块。可以从名称看出,它可以和外部系统、数据集建立一个数据流的连接,实现数据的输入、输出。有以下特性: 使用了一个通用的框架,可以在这个框架上非常方面的开发、管理Kafka Connect接口 支持分布式模式或单机模式进行运行 支持REST接口,可以通过REST API提交、管理 Kafka Connect集群 offset自...2016-01-11 15:19:44 · 285 阅读 · 0 评论 -
kafka实时监控
在kafka的开发和维护中,我们经常需要了解kafka topic以及连接在其上的consumer的实时信息,比如logsize,offset,owner等。为此kafka提供了ConsumerOffsetChecker,它的用法很简单 bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group <group&g...2015-07-28 22:43:44 · 785 阅读 · 0 评论 -
kafka consumer防止数据丢失
kafka最初是被LinkedIn设计用来处理log的分布式消息系统,因此它的着眼点不在数据的安全性(log偶尔丢几条无所谓),换句话说kafka并不能完全保证数据不丢失。 尽管kafka官网声称能够保证at-least-once,但如果consumer进程数小于partition_num,这个结论不一定成立。 考虑这样一个case,partiton_num=2,启动一个cons...2015-07-07 23:08:53 · 553 阅读 · 0 评论 -
kafka offset迁移
在早前的kafka版本中(0.8.0),offset是被存储在zookeeper中的。 到当前版本(0.8.2)为止,kafka同时支持offset存储在zookeeper和offset manager(broker)中。 从官方的说明来看,未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话,可以考虑在合适的时候将offse...2015-07-05 23:23:28 · 346 阅读 · 0 评论 -
Kafka0.10新特性
5月23日Confluent官方宣布Apache Kafka 0.10正式发布。该版本包含了很多新功能和优化,这里列出比较重要的几项: Streams 如果你有这样的需求,从Kafka拉取数据进行流处理然后再推送回Kafka,那么你会喜欢0.10的Kafka Streams。Kafka Streams是一个类库,它实现了一系列流处理动作(例如join,filter,aggregat...2016-05-26 22:40:58 · 318 阅读 · 0 评论