能量守恒洛的专栏

apache kafka参考http://kafka.apache.org/documentation.html消息队列方式：点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会

原文地址：https://blog.youkuaiyun.com/u014393917/article/details/52043040ReplicaManager说明,此组件用于管理kafka中各partition的副本信息.,实例依赖于kafkaScheduler与logManager的实例.并处理对消息的添加与读取的操作.副本间数据的同步等操作。实例创建与启动实例创建replicaM...

原文地址:https://blog.youkuaiyun.com/wl044090432/article/details/51035614首先解释下2个名词：AR(assignreplicas):分配副本  ISR(in-sync replicas)：在同步中的副本，即下图：   Partition { topic : string //topic名称 pa...

原文地址： https://blog.youkuaiyun.com/dabokele/article/details/52373960KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：https://github.com/quantifind/KafkaOffsetMonitor。 　　最简单的使用方...

目前我们的topic  test-add-replication-topic中partition 0的replicas为[1,2]，则1为preferred replica，应该成为leader。 这时我们期望2为preferred replica，并变成leader。操作步骤：1. 查看当前topic详细信息：　　> bin/kafka-topics.sh --describe --zoo...

Kafka集群无法外网访问问题解决方法 讲解本地Consumer和Producer无法使用远程Kafka服务器的处理办法服务搭建好kafka服务后，本机测试ok，外面机器却无法访问，很是怪异。环境说明： kafka服务器： 阿里云VPC网络服务器，内网ip：10.10.10.10，绑定的弹性ip（外网ip）x.x.x.x，是单机测试环境，zk和kafka都在一台机器上，使用默认

创建topic maxmessagetest ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 8 --topic maxmessagetest集群zookeeper 创建队列./kafka-topics.sh --zookeeperzk-serve

原文地址：http://blog.youkuaiyun.com/louisliaoxh/article/details/51516084Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了日志数据以及OffsetIndex对象，该对象使用位移来读取日志数据 * borker配置就是指配置server.properties文件 *

1.概述　　在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 Kafka 提供的命令工具，已预感到力不从心，这时候 Kafka 的监控系统此刻便尤为显得重要，我们需要

Kafka进程被强制退出（kill -9)后重启，碰到如下问题：FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)Java.lang.IllegalArgumentException: requirement failed: C

目录(?)[-]Consumer的非线程安全Consumer Group 负载均衡模式 vs PubSub模式Partition 自动分配 vs 手动指定消费确认 - consume offset vs committed offsetExactly Once 自己保存offset从这一篇开始，我们将进入Consumer的分析。同Producer一样， Cons

1. 上栈[2016-07-01 15:58:55,889] ERROR Commit of Thread[WorkerSinkTask-beaver_http_response-connector-0,5,main] offsets threw an unexpected exception: (org.apache.kafka.connect.runtime.WorkerSinkTask

原文地址：http://blog.youkuaiyun.com/stark_summer/article/details/50203133上一篇文章介绍了Kafka在设计上是如何来保证高时效、大吞吐量的，主要的内容集中在底层原理和架构上，属于理论知识范畴。这次我们站在应用和运维的角度，聊一聊集群到位后要怎么才能最好的配置参数和进行测试性能。Kafka的配置详尽且复杂，想要进行全面的性能调优需要掌握大量

原文地址：http://blog.youkuaiyun.com/beitiandijun/article/details/405825413.     ConfigurationKafka在配置文件中使用key-value方式进行属性配置。这些values可以通过文件或者编程方式提供。3.1      Broker  Configs基本配

原文地址：http://chengjianxiaoxue.iteye.com/blog/2190488 kafka集群搭建 Java代码  1.zookeeper集群  搭建在110， 111,112    2.kafka使用3个节点110， 111,112  修改配置文件config/server.properties  broker.

Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同时支持离线数据处

Kafka的consumer是以pull的形式获取消息数据的，consumer提供两种版本，即high level 和low level API。1 consumer和partition1）如果consumer比partition多，是浪费，因为kafka的设计是在一个partition上是不允许并发的，所以consumer数不要大于partition数 2）如果consume

kafka对于消息体的大小默认为单条最大值是1M. 但是在我们应用场景中, 常常会出现一条消息大于1M, 如果不对kafka进行配置. 则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据, 这时我们就要对kafka进行以下配置:kafka_2.11-0.9.0.0/config/server.propertiesProducer的参数中添加：max.requ...