weixin_43866709的博客

我用三台虚拟机建立了一个Kafka集群，启动之后创建一个生产者，向topic中写数据时，报如下错误：然后我查看了一下日志文件：看了日志文件之后，是因为Kafka中的数据无法和其他机器进行同步。于是我查看了一下刚才创建的topic的信息：./bin/kafka-topics.sh --describe --zookeeper L1:2181,L2:2181,L3:2181 --topic...

1.下载源码包下载地址：http://kafka.apache.org/downloads2.上传源码包并解压到指定目录tar -zxvf kafka_2.11-0.10.2.1.tgz -C /home/hadoop/app/3.修改配置文件cd kafka_2.11-0.8.2.2/configsudo vim server.properties修改如下内容：#1.指定...

首先我们要理解Kafka和zookeeper的关系：Kafka的一些基本概念：Broker ： 安装Kafka服务的那台集群就是一个broker（broker的id要全局唯一）Producer：消息的生产者，负责将数据写入到broker中（push）Consumer：消息的消费者，负责从kafka中读取数据（pull），老版本的消费者需要依赖zk，新版本的不需要Topic:主题，相当...

打开IDEA，建立maven项目，在pom.xml文件中添加Kafka的依赖：pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSche...

使用kafka-server-start.sh启动Kafka时无法启动，然后报错，报错信息如下：出现这个错误的原因是由于这台机器上的内存太小，Kafka启动默认要求机器的最小内存是1G。解决办法：修改kafka-server-start.sh这个文件。sudo vim kafka-server-start.sh会看到如下信息：将1G修改为512M就可以了：然后再启动就可以了...

Kafka的一些概念Broker ： 安装Kafka服务的那台集群就是一个broker（broker的id要全局唯一） Producer：消息的生产者，负责将数据写入到broker中（push）Consumer：消息的消费者，负责从kafka中读取数据（pull），老版本的消费者需要依赖zk，新版本的不需要 Topic:主题，相当于是数据的一个分类，不同topic存放不同的数据 ...