qq_22994783的博客

kafka的主要特征是什么？总共有五点 1、kafka有近乎实时性的消息处理能力，即使是面对海量数据也能够高效的存储和查询，kafka将消息存储在磁盘中，在其设计理念中并不惧怕磁盘的操作，因为它是顺序读写磁盘，所以避免了随机读写磁盘带来的性能瓶颈。 2、kakfa支持批量读写消息，并且对消息进行批量压缩，这样既提高了网络的效率，也提高了压缩效率 3、kafka支持消息分区，每个分区中的消息保证顺序...

搭建zookeeper + kafka server 参考https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart 搭建container docker run -itd --net none --hostname dev-kafka-145 --name dev-kafka-145 spagobi /bin/bas...

canal中写入kafka的BUG kafka的默认最大消息大小是1M, canal作者也知道这个事, 所以往canal扔消息的时候, 会先做一个判断, 如果消息大小>1M, 会报错 但关键是他报错说的要把kafka的配置改大, 实际上是自己做了阉割, 怨不得kafka, 我横来竖去改了n遍kafka的配置也没用 目前我做的是修改了canal的源码:(GITHUB上最新版源码已经加上了这个配...