mo

刚才创建kafka的Topic时,突然弹出以下出错翻译以下错误信息可以得到集群中可利用的kafka数量为0，但是需要的副本因子为3,既然可利用的kafka的数量为0是不是我没有开启kafka集群，jps查看了一下果然忘记开启kafka了,然后启动集群中所有的kafkabin/kafka-server-start.sh -daemon config/server.properties再次执行上述的创建topic语句可以看到没有任何问题了.但是关于上述的Error while executing

在进行flume和kafka的对接之前，我们要知道为什么要让他们这两个系统进行对接：1.生产环境中，往往是读取日志进行分析，而这往往是多数据源的，如果单单的使用Kafka构建多个生产者使用文件流的方式向主题写入数据再供消费者消费的话，无疑非常的不方便(这里通俗的讲他们对接的好处也就是采集日志文件给多个系统来使用)。2.Flume可以使用拦截器实时处理数据。这些对数据屏蔽或者过量是很有用的。Kafka需要外部的流处理系统才能做到。3.如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很

关于命令行操作(注：进行命令行操作之前的话务必将zookeeper全部开启)1.查看当前kafka中现存的所有主题的名字bin/kafka-topics.sh --zookeeper hadoop102:2181 --list[root@hadoop102 kafka]# bin/kafka-topics.sh --zookeeper hadoop102:2181 --listdemo1demo22.查看某个topic的详情，这里我查看的是demo2这个主题的详情bin/kafka-t

在说分区分配之前我们先要强调一下consumer采用pull（拉）模式从broker中读取数据 。因为push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。下面我们来看一下如下所示的分区和消费者组的图你可能会想这个图中的消费者会消费到主题中的具体哪一个分区的数据，这也引出我们的分区分配策略：一个consumer group中有多个consumer，

关于kafka：kafka是Linkedin于2010年开源的消息系统，是一个分布式的基于发布/订阅模式的消息队列，主要用于处理活跃的流式数据。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，若要进行实时处理，通常会有较大的延迟，而现有的消息(队列)系统能很好的处理实时或者近似实时的应用，但未处理的数据通常不会写在磁盘上，这对于hadoop之类的的离线应用可能存在问题。kafka正是为了解决以上问题而设计的，它能很好的支持离线和在线应用。1.关于kafka消息队列好处：(1)解耦：允许你独立

一：安装的前期准备：由于kafka是基于zookeeper的，所以必须先启动zookeeper 以后，再启动kafka，如果没有安装zookeeper的话可以参考我的上一篇博客。https://blog.youkuaiyun.com/weixin_44080445/article/details/106331510二：下载安装1.官网地址：http://kafka.apache.org/downloads.html这里我从官网下载的是kafka_2.11-0.11.0.0.tgz这个版本的，前面的2.11是sc