weixin_41279060的博客

kafka简介1、kafka是一个分布式的消息缓存系统，稳定性高，吞吐量高，适合高并发项目2、kafka集群中的服务器都叫做broker3、kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接4、kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分

#唯一标识在集群中的ID，要求是正数。broker.id=0#服务端口，默认9092port=9092#监听地址，不设为所有地址host.name=debugo01 # 处理网络请求的最大线程数num.network.threads=2# 处理磁盘I/O的线程数num.io.threads=8# 一些后台线程数background.thr

假设现在kafka有3个节点master60:2181,node61:2181,node62:2181cd $kafkaPath列出kafka所有的topic./bin/kafka-topics.sh --zookeeper master60:2181,node61:2181,node62:2181 -list查看kafka某一topic的描述./bin/k

kafka的PageCache读写不同于Redis和MemcacheQ等内存消息队列，Kafka的设计是把所有的Message都要写入速度低容量大的硬盘，以此来换取更强的存储能力。实际上，Kafka使用硬盘并没有带来过多的性能损失（这一点是有条件限制的，这个条件是，消费者的消费速度要高于或等于生产者的速度）。kafka重度依赖底层操作系统提供的PageCache功能。（文件缓存，速

场景 mysql的数据-->通过canal-->发送到kafka-->mysql、hive在做canal集成kafka的时候，发现一个问题，多分区的情况下，跨分区的数据消费是无序的。这时候就会出现问题，如果消费端消费的更新日志在插入日志之前，就会因为数据缺失导致异常（这样的情况随着并发出现的概率会增大），所以，需要保证新增的日志和更新的日志是有序的被消费。kafka发送数据是支持指定分