Blossom

1. 安装KafkaKafka下载地址：Downloadyitian@heron01:~$ cd kafka/yitian@heron01:~/kafka$ lltotal 54456drwxrwxr-x 2 yitian yitian 4096 Sep 15 17:30 ./drwxr-xr-x 37 yitian yitian 4096 Sep 15 17:...

安装配置Zookeeper1. 安装zookeeper：yitian@heron01:~$ mkdir zookeeperyitian@heron01:~$ cd zookeeper/yitian@heron01:~/zookeeper$ tar -zxvf zookeeper-3.4.10.tar.gz 解压后，在zoo.cfg配置文件中进行如下配置：yitian@her...

Kafka中JMX的配置1. 修改Kafka安装目录下bin中kafka-run-class.sh文件：yitian@heron01:~/kafka/kafka_2.11-2.0.0/bin$ vim kafka-run-class.sh 添加内容如下：其中在使用heron01时，需要确保在/etc/hosts文件中有正确的ip和hostname的配置：2. 修改b...

启动Zookeeperzookeeper配置在：zookeeper:2181主机，且已经正常启动。版本为3.4.10安装配置kafka_0.8.2.0区别于kafka_2.0.0，0.8.2.0版本的集成配置有些区别。kafka_2.0.0版本的集成见：Kafka+Zookeepr的单节点集成配置。如下为kafka_0.8.2.0版本与远程zookeeper的集成配置。1. kaf...

1. 出现如下错误提示，说明kafka的producer和consumer的版本不一致，例如，这里producer使用的是2.0.0版本而consumer使用的是0.8.2.0版本。2. 在运行producer的java程序时，出现如下错误：log4j:WARN No appenders could be found for logger(org.springframework...

写在前面Kafka作为实时计算中重要的一个消息缓存队列组件，Heron与Kakfa的集成本应没有太多问题。但通过查找资料发现，Heron与Kafka集成使用方面的资料很少。这篇文章则是在自己在查找资料和实际使用过程中总结得来。此外在查找资料的过程中，发现Heron在0.14.3版本中的Github项目中是将storm原来的KafkaSpout类移植到Heron中进行使用的，因为Heron和...

系统环境在kafka单节点运行环境下，尝试使用java创建Kafka的Producer和Consumer进行测试，具体的代码环境如下：OS：Ubuntu 16.4 Kafka：2.11_2.0.0 Zookeeper：使用Kafka中自带的Zookeeper进行启动 JDK: 1.8项目使用maven，其中pom.xml的相关内容如下：<!-- https://mvnr...

启动Zookeeperzookeeper配置在：zookeeper:2181主机，且已经正常启动。版本为3.4.10。详细的zookeeper集群配置见：Ubuntu16.04安装配置使用Zookeeper集群。安装配置kafka_0.8.2.0区别于kafka_2.0.0，0.8.2.0版本的集成配置有些区别。kafka_2.0.0版本的集成见：Kafka+Zookeepr的单节点集...

开始使用Start：Kafka的安装和使用（Kafka Doc-QuickStart）Kafka与Zookeeper的整合Kafka_0.8.2.0与Zookeeper的集成配置 Kafka+Zookeepr的单节点集成配置理论知识如何为Kafka集群选择合适的Partitions数量 转：Kafka集群生产/消费的负载均衡(Rebalance)测试各种操作Kafka清除...

1. 停止该kafka相关的producer和consumer。2. 设置如下kafka的配置项：# yitian addedauto.create.topics.enable=falsedelete.topic.enable=true3. 调用kafka删除topic的命令：yitian@kafka:~/kafka/kafka_2.11-0.8.2.1$ bin/kaf...

错误信息[ERROR] 2018-11-07 20:20:01,378 method:org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:137)Uncaught error in kafka producer I/O thread: org.apache.kafka.common.protocol.typ...