Fenggms的博客

kafkakafka是什么？消息队列的作用用户注册的最终一致kafka与传统消息系统的区别kafka与activeMQ的对比：kafka是什么？Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。Ka...

kafka的架构模型kafka架构是一个基于producer consumer topic broker 等的一个基本架构。kafka的组件介绍Topic ：消息根据Topic进行归类Producer：发送消息者Consumer：消息接受者broker：每个kafka实例(server)Zookeeper：依赖集群保存meta信息。Topics组件介绍Topic：一类...

1、三台机器启动zookeeperbin/zkServer.sh start2、下载并解压下载kafka安装包http://archive.apache.org/dist/kafka/最新版本为2.0，这里选择1.0.0版本进行安装测试。上传压缩包并解压上传压缩包到指定目录（这里先选择第一台设备node01），并进行解压tar -zvxf kafka_2.11-1.0.0.t...

kafka命令行的使用通过命令行来创建一个topiccd /export/servers/kafka_2.11-1.0.0/bin/kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181kafka通...

server.properties的配置说明#broker的全局唯一编号，不能重复broker.id=0#用来监听链接的端口，producer或consumer将在此端口建立连接port=9092#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的线程数量num.io.threads=8#发送套接字的缓冲区大小socket.send.b...

需求：实现flume监控某个目录下面的所有文件，然后将文件收集发送到kafka消息系统中flume和kafka环境准备另外，zookeeper也要启动。配置flume的配置文件配置flume.conf#set name for source channel sinka1.sources = r1a1.channels = c1a1.sinks = k1#指定我们的source收...

生产者如何保证数据的不丢失producer有丢数据的可能，但是可以通过配置保证消息的不丢失。通过kafka的ack机制：在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到。取值有1 0 -1 。# 设置发送数据是否需要服务端的反馈,有三个值0,1,-1# 0: producer不会等待broker发送ack # 1: 当leader接收到消息...

第一步:上传kafkaManager的压缩包将我们kafkaManager的压缩包上传到我们kafka集群的任意一台机器即可unzip kafka-manager-1.3.3.7.zip -d /export/servers/第二步:修改kafkaManager的配置文件vim application.conf#更改一配置文件 kafka-manager.zkhosts,修改为我们的...