拉丁解牛技术专栏

基于kafka 0.10版本源码分析    早期kafka 0.8.22，0.9.X 版本kafka 生产者消费者服务端都是用scala编写。而且放在cores包下，新版本的客户端使用java实现，放在clients包下。      新的生产者客户端是一个进程，使用KafkaProducer对象实例化。这个生产者客户端，不直接发送消息给服务端，而是使用了一个名叫 RecordAccumulat...

转自：http://orchome.com/472 基本配置如下: broker.id log.dirs zookeeper.connect 下文将详细论述了主题级别配置和默认值。 名称 描述 类型 默认 有效值 重要程度 zookeeper.connect zookeeper host string string     ...

转自：https://www.cnblogs.com/smartloli/p/9371904.html 1.概述        最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题，这里笔者特意整理了这些问题。并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑，同时也给出一些定位分析Kafka Eagle异常的时的解决办法。 2.内容 ...

转自kafka大神之作-推荐：http://orchome.com/510 Kafka提供一个broker之间复制传输的流量限制，限制了副本从机器到另一台机器的带宽上限。当重新平衡集群，引导新broker，添加或移除broker时候，这是很有用的。因为它限制了这些密集型的数据操作从而保障了对用户的影响。 有2个接口可以实现限制。最简单和最安全的是调用kafka-reassign-partiti...

     可以参考这个https://www.cnblogs.com/tonglin0325/p/8963114.html       但是也不一定可以成功。 成功的，具体步骤：    1、先安装配置jdk，和sbt。jdk就不说了。说一下sbt这里有坑。       在官网http://www.scala-sbt.org/download.html，下载压缩包解压比较快和方便。 　2、...

kafka1.0.X 官网采集的监控指标：http://kafka.apache.org/0110/documentation.html#monitoring ### Kafka性能指标 #### kafka.server BrokerTopicMetrics,name=MessagesInPerSec: 每秒消息量 BrokerTopicMetrics,name=BytesInPerSec:...

配置kafka        JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999"，指定9999端口暴露出来供采集。像配置kafka-manager采集，也是要做这个事情的。 下载jmx_exporter       链接 https://github.com/prometheus/jmx_exporter, 将文件...

转自：http://www.hemingliang.site/308.html 阅读目录 1  查看主题数据分布 2  查看log文件 3  查看index文件 4  查看timeindex文件 查看主题数据分布   [hadoop@m2 kafka_2.10-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper localho...

转自：https://bigdata-ny.github.io/2016/12/05/kafka-cluster-optimize/ 写在之前：本文将讲述Kafka Cluster配置和优化。 Kafka Cluster（相对于单个server）最大的优点：可扩展性和容错性。 ​ Kafka集群简图 Kafka Broker个数 决定Kafka集群大小的因素有以下几点： 磁盘容量：...

转自：https://juejin.im/post/5a65b2df518825732a6d9ff1         本文重点介绍kafka的两类常见数据迁移方式：1、broker内部不同数据盘之间的分区数据迁移；2、不同broker之间的分区数据迁移。 一、broker 内部不同数据盘之间进行分区数据迁移 1.1 背景介绍         最近，腾讯云的一个重要客户发现kafka bro...

转自：https://segmentfault.com/a/1190000008674900 本文目录结构： Producer API入门 异步发送流程 Producer设计说明 Producer Configuration 1. Producer API入门：          KafkaProducer是一个发送record到Kafka Cluste...

转自：https://www.jianshu.com/p/a4c1d281b66a 1. 以时间戳查询消息 (1) Kafka 新版消费者基于时间戳索引消费消息 kafka 在 0.10.1.1 版本增加了时间索引文件，因此我们可以根据时间戳来访问消息。 如以下需求：从半个小时之前的offset处开始消费消息，代码示例如下: package com.bonc.rdpe.kafka110....

下载Gradle       gradle不同版本对jdk的要求不一样。我们下载4.1的，阅读0.10的源码。必须保证JDK版本大于1.7以上。kafka 2.0甚至是使用1.8以上，1.7不支持。      到这个地址下载，较为新的版本。http://services.gradle.org/distributions/      下载好放到某个目录下。 下载Kafla源码，http://...

import kafka.api.PartitionOffsetRequestInfo; import kafka.common.TopicAndPartition; import kafka.javaapi.OffsetResponse; import kafka.javaapi.PartitionMetadata; import kafka.javaapi.TopicMetadata; im...