阿正的博客

配置完SASL就无法生成和消费了。消费的时候报，请问是我哪里配置错了么?困扰了好几天，感谢解答kafka.common.BrokerEndPointNotAvailableException: End point with security protocol PLAINTEXT not found for broker 0关闭kafka的kerberos认证就行，不然各种安全配置操作无比麻烦...

https://blog.youkuaiyun.com/sinat_27545249/article/details/78471034#%E5%9C%A8checkpoint%E4%B8%AD%E5%AD%98%E5%82%A8

版本不一致造成的！！！因为我的IDEA对应的spark-streaming-kafka-0-10_2.11 的spark.version版本是2.2，而我集群的是2.3，修改我的IDEA对应的也是2.3后再打jar包提交即可解决问题...

https://blog.youkuaiyun.com/gdkyxy2013/article/details/86644919

一. topic的from-beginning参数 启动zookeeper和kafka bin/zkServer.sh start-foregroundbin/kafka-server-start.sh config/server.properties 创建topic bin/kafka-topics.sh --create --zookeeper localho...

kafka的offset保存位置分为两种情况 0.9.0.0版本之前默认保存在zookeeper当中0.9.0.0版本之后保存在broker对应的topic当中1.如何辨别你启用的consumer的offset保存位置进入zookeeper的命令行当中 zkCli.sh localhost:2181 用 ls / 查看目录如果你在代码中定义的group id 没有在 /consu...

https://blog.youkuaiyun.com/s243471087/article/details/84061536

我们大家都知道，kafka消费者在会保存其消费的进度，也就是offset，存储的位置根据选用的kafka api不同而不同。首先来说说消费者如果是根据javaapi来消费，也就是【kafka.javaapi.consumer.ConsumerConnector】，我们会配置参数【zookeeper.connect】来消费。这种情况下，消费者的offset会更新到zookeeper的【consu...

1.问题描述使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。2.问题复现1.登录Kafka集群所在的服务器，创建一个test的topic[root@cdh1 ~]# kafka-topics --create...

同事在他们的服务器上读取kafka的信息，使用ip的情况下，端口是通的情况下始终读不到消息。使用zk的ip能list出topic。想到有可能是读取broker的时候读到的主机名了。配置/etc/hosts后，能顺利读到消息。回去kafka对应的zk中查看 /kafka/broker/ids/xxx值，存的果然是主机名。在CDH集群中配置每个broker的kafka.properties高级值：...

我们大家都知道，kafka消费者在会保存其消费的进度，也就是offset，存储的位置根据选用的kafka api不同而不同。首先来说说消费者如果是根据javaapi来消费，也就是【kafka.javaapi.consumer.ConsumerConnector】，我们会配置参数【zookeeper.connect】来消费。这种情况下，消费者的offset会更新到zookeeper的【consu...

--查看topic消费进度(不是consumer的offset)bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list node1:9092,node2:9092,node3:9092 --topic mytopic --time -1-1表示查询 mytopic 各个分区当前最大的消息位移值(注意，这里的位移不是con...

Error: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/Producer at java.lang...

cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉

Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。例如，在New Relic的生产环境中，Kafka群集每秒能够处理超过1500万条消息，而且其数据聚合率接近1 Tbps。可见，Kafka大幅简化了对于数据流的处理，因此它也获得了众多...

1、向Kafka中输入数据，抛异常WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException官网两个参数描述如下：messag...