迎难而上

报错信息详细报错信息ERROR admin.TopicCommand$: org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.创建 Topic 的命令：kafka-topics --create --zookeeper cdh-manager:2181,cdh-node1:2181,cdh..

参考文章1.kafka 中 zookeeper 具体是做什么的？https://www.cnblogs.com/yogoup/p/12000545.html最近回顾了下 kafka 的相关部分的知识，既然 kafka 并不是依赖于 zookeeper 进行 AR 进行 Topic 的Leader选举的，那么 zookeeper 到底完成了那些工作呢 ？zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kaf...

原文地址 ：https://www.cnblogs.com/binyue/p/10308754.html 好久没有用Kafka了，对知识梳理一下： Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。 即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。 针对Kaf...

1.Kafka “高吞吐” 之顺序访问与零拷贝https://cloud.tencent.com/developer/article/14766492.kafka通过零拷贝实现高效的数据传输https://blog.youkuaiyun.com/lxlmycsdnfree/article/details/789738643.Kafka的零拷贝技术https://www.jianshu.com/p/835ec2d4c1704.什么是“零拷贝”技术https://baijiahao.baidu.

参考文章：https://www.bbsmax.com/A/n2d9bqDvzD/ 对应的 kafka版本 ： kafka_2.12-2.0.0.jar  ，即 scala 2.12  ，kafka 2.0.0 版本。 注意 kafka 版本，建议选择 1.0.0 + 的版本。我们查询所有消费的 group.id 一般都采用如下的方式进行查询 ： kafka-con...

参考文章1. Kafka consumer group位移0ffset重设https://www.cnblogs.com/felixzh/p/8028118.html 本文书写环境：kafka_2.12-2.0.0.jarscala 2.12 编译下的 kafka 2.0.0 版本。 在数据开发中，有时候可能会遇到 kafka 中的数据需要重算的情况。如果是 2-3...

 在日常我们启动 kafka 的时候 ，一般是通过命令启动的。但是，启动 kafka 是一个非常低频率的时间。我们很有可能记不住如何启动。因此，建议将启动方式 组织成一个脚本。 启动脚本 ：my-bin/start_local_one.sh#!/bin/bashset -ueROOT_PATH=$(dirname $(readlink -f $0))#echo $...

参考文章：flume kafka sparkstreaming整合后集群报错org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/uthttps://blog.youkuaiyun.com/u010936936/article/details/77247075?locationNum=2&fps=1    最近在...

 最近在编写Spark Streaming 作业的时候，遇到了一个比较奇怪的问题，表现如下： 在本地连接Kafka 集群执行作业：18/10/31 17:42:58 INFO AbstractCoordinator: Discovered coordinator kafka1:9092 (id: 2147483574 rack: null) for group td_topic_...

 原文地址： https://blog.youkuaiyun.com/zhanyuanlin/article/details/76695481 目录序言1. Kafka MirrorMaker基本特性2. 新旧Consumer API的使用问题3. 负载不均衡原因诊断以及问题解决4. 本身网络带宽限制问题5. 适当配置单次poll的消息总量和单次poll()的消息大小6. 恶劣网络...

参考文章：1.《深入理解Kafka- 核心设计与实践原理》朱忠华2.Kafka设计解析（二十一）Kafka水位(high watermark)与leader epoch的讨论https://www.cnblogs.com/warehouse/p/9545429.html本文针对的是 Kafka 0.11 + 之后的 Kafka ，由于之前的 Kafka 可能出现丢数，数据...

参考文章：DirectStream、Stream的区别-SparkStreaming源码分析02https://blog.youkuaiyun.com/wisgood/article/details/51815853spark-kafka direct方式读取和receiver方式读取的区别https://blog.youkuaiyun.com/wzqllwy/article/details/...

参考文章 ： 《深入理解Kafka 核心设计 与 实践原理 》 朱忠华 著目录：1.日志格式划分 1.1 v0 版本 1.2 v1 版本 1.3 v2 版本2. 各个版本消息格式变更 2.1 v0 版本 2.2 v1 版本 2.3 v2 版本3. v0 与 v1 的日志压缩4. 日志在磁盘上的组织形式 4.1 日志存放目录...

kafka 0.8–kafka 0.9–kafka 0.10 – kafka 1.0 各版本的新特性最重要的是，就是consumer的机制。consumer机制各版本的演化：本图示来源于：https://blog.youkuaiyun.com/cymvp/article/details/69554569 kafka-0.8.2 新特性producer不再区分同步（sync）和异步方...

本文章对应的 kafka 版本是 kafka_2.11-0.10.0.1版本号的含义scala 2.11kafka 0.10.0.1背景： kafka 0.9 及以上 有了一个大版本变化，主要有以下几个方面： 1.kafka-client 不再区分高低api 2.kafka 消费者偏移量信息 不再单纯的存储在 zookeeper 中， kafk...

下面的内容根据**学院的讲义总结而成分为以下三个部分0.Kafka集群基本信息实时查看和修改1.Kafka集群leader平衡机制2.Kafka集群分区日志迁移0.Kafka集群基本信息实时查看和修改集群信息实时查看(topic工具)：列出集群当前所有可用的topic：bin/kafka-topics.sh --l

注意：配置基于Kafka 0.8.2.1broker配置#非负整数，用于唯一标识brokerbroker.id 0#kafka持久化数据存储的路径，可以指定多个，以逗号分隔log.dirs /tmp/kafka-logs#broker接收连接请求的端口port 9092#指定zk连接字符串，[hostname:port

问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是

1、kafka客户端访问broker报错"kafka Failed to send messages after 3 tries”，异常堆栈在此略去，因为也没有更多信息。官方例子的问答中有人解答：将config/server.properties中的host.name修改为ip即可。试了，确实如此。没阅读源码，原因还未分析。参考：https://cwiki.apache.o

这里假设大家已经装好了Kafka的环境，并对kafka的知识有基本的了解。下面直接讲解如何搭建一个本地的伪集群：（里面用到了zookeeper 伪集群 ）搭建Zookeeper伪集群可以参考：http://blog.youkuaiyun.com/u010003835/article/details/52215054集群配置：Step1 将配置文件拷贝多份cp c

本文着重介绍几个常用的topic命令行命令，包括listTopic，createTopic，deleteTopic和describeTopic等。由于alterTopic并不是很常用，本文中就不涉及了。另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的^_^ )一. list topic 显示所有topic1. 从zookeep

对于Kafka. 可以在配置中配置自动创建Topic, 即对于 consumer ， producer  连接的 Topics 达到自动创建的效果，不需要通过命令进行输入。具体的配置如下所示：auto.create.topics.enable=true对于Kafka ， 删除Topic 达到物理删除的目的也需要进行配置。

最近由于项目需要需要删除 kafka 中的topic :下面记录下删除的方式：方式一 （我的机器不成功不知道是什么原因）原理：通过kafka 的配置：delete.topic.enableEnables delete topic. Delete topic through the admin tool will have

kafka 可以通过控制台程序对消息进行生产/ 消费，以此可以检验数据是否成功的产生。具体命令如下kafka安装目录下的 bin/ 下的kafka-console-consumer.sh   kafka-console-producer.sh生产者kafka-console-producer.sh --zookeeper 10.200.250.193

默认Kafka运行的时候都会通过log4j打印很多日志文件，比如server.log, controller.log, state-change.log等，而都会将其输出到$KAFKA_HOME/logs目录下，这样很不利于线上运维，因为经常容易出现打爆文件系统，一般安装的盘都比较小，而数据和日志会指定打到另一个或多个更大空间的分区盘具体方法是，打开$KAFKA_HOME/bin/kafk

由于大家日常生产开发中，对 kafka 生产者，消费者 可以支持的配置 可能有所困惑，这里我们写一片文章帮助大家答疑解惑。 本文基于  Kafka 的 1.0.0 版本 其实 ，主要的配置选项，可以在以下的包中找到。<dependency> <groupId>org.apache.kafka</groupId> <...

由于大家日常生产开发中，对 kafka 生产者，消费者 可以支持的配置 可能有所困惑，这里我们写一片文章帮助大家答疑解惑。 本文基于  Kafka 的 1.0.0 版本 其实 ，主要的配置选项，可以在以下的包中找到。<dependency>    <groupId>org.apache.kafka</groupId>    <a...

  enable.idempotence 为trueacks 设置为all或者-1retries 设置为大于0max.in .flight.requests.per.connection=1

原文地址：http://blog.youkuaiyun.com/lizhitao/article/details/25301387kafka.common.ConsumerRebalanceFailedException :log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63