
kafka
文章平均质量分 94
iteye_8208
这个作者很懒,什么都没留下…
展开
-
kafka安装和启动
假设你现在没有Kafka和ZooKeeper环境。Step 1: 下载代码下载0.10.0.0版本并且解压它。> tar -xzf kafka_2.11-0.10.0.0.tgz > cd kafka_2.11-0.10.0.0Step 2: 启动服务运行kafka需要使用Zookeeper,所以你需要先启动Zookeeper,如果你没有Zookeepe...原创 2016-11-16 14:00:29 · 231 阅读 · 0 评论 -
Kafka Producer机制优化-提高发送消息可靠性
名称解释:Broker:负责消息的存储和转发,也可以叫消息中介节点 Topic:每种消息的分类叫做主题(Topic)。 Partition:每一个Topic被切分为多个Partitions。背景Producer构造Message对象时,传入key参数,当Producer发送Message,会根据key确定目标Partition,当Kafka集群中某个Partition所有存活的节点...原创 2016-11-18 10:09:44 · 572 阅读 · 0 评论 -
Kafka Producer端封装自定义消息
这篇文章主要讲kafka producer端的编程,通过一个应用案例来描述kafka在实际应用中的作用。如果你还没有搭建起kafka的开发环境,可以先参考:<kafka开发环境搭建>首先描述一下应用的情况:一个站内的搜索引擎,运营人员想知道某一时段,各类用户对商品的不同需求。通过对这些数据的分析,从而获得更多有价值的市场分析报表。这样的情况,就需要我们对每次的搜索进行记录,当然,...原创 2016-11-18 10:20:16 · 538 阅读 · 0 评论 -
Java消息队列任务的平滑关闭
摘要: 对于消息队列的监听,我们一般使用Java写一个独立的程序,在Linux服务器上运行。程序启动后,通过消息队列客户端接收消息,放入一个线程池进行异步处理,并发的快速处理。当我们修改程序后,需要重新启动任务的时候,如何保证消息的不丢失呢?1.问题背景对于消息队列的监听,我们一般使用Java写一个独立的程序,在Linux服务器上运行。程序启动后,通过消息队列客户端接收消息,放...原创 2016-12-10 08:36:19 · 255 阅读 · 0 评论 -
分布式队列编程优化篇
前言“分布式队列编程”是一个系列文,之前我们已经发布了《分布式队列编程模型、实战》,主要剖析了分布式队列编程模型的需求来源、定义、结构以及其变化多样性;根据作者在新美大实际工作经验,给出了队列式编程在分布式环境下的一些具体应用。本文将重点阐述工程师运用分布式队列编程构架的时候,在生产者、分布式队列以及消费者这三个环节的注意点以及优化建议。确定采用分布式队列编程模型之后,主体架构就算完成...原创 2016-12-13 13:06:24 · 145 阅读 · 0 评论 -
Kafka入门经典教程
1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是采用Pull模式,还是Push模式?9.P...原创 2016-12-29 14:26:40 · 155 阅读 · 0 评论 -
Using Spring for Apache Kafka
Using Spring for Apache KafkaSending MessagesKafkaTemplateThe KafkaTemplate wraps a producer and provides convenience methods to send data to kafka topics. Both asynchronous and synchro...原创 2017-02-05 21:25:24 · 317 阅读 · 0 评论