https://blog.datasource.space

Kafka伪分布式安装，开发脚本管理Kafka服务，Zookeeper管理偏移量，Hbase管理偏移量

1.kafka创建topic失败， Replication factor: 1 larger than available brokers: 0;2.服务器Cannot allocate memory;3.Offset Explorer连接Kafka问题集合，(Timeout expired while fetching topic metadata),(Uable to find any brokers);4.kafka数据到hudi丢失数据问题;

kafka是分布式的基于消息的发布-订阅的消息队列。LinkedIn（领英），Scala编写的​ kafka消费者在消费数据的时候，一般都是分组的。这个分组叫做消费者组。不同组的消费相互之间不影响。相同组内的消费，同组内的偏移量相互影响；但是需要注意的是，如果你的分区是3个，那么你的消费者组内的消费者最优是3个，因为再多也没有用了，因为组内的消费者，一个消费者消费一个主题的分区。

2.Canal只能抓取最新数据，对已存在的历史数据没有办法处理。Maxwell提供一个bootstrap功能，可以直接引导出完整的历史数据用于初始化。1.Canal有server+client模式，Maxwell只有一个server把数据发送到消息队列或redis。4.Canal在server+client模式下，可以自定义数据格式。3.Maxwell不支持HA，需要自行开发。但支持断电还原，即错误解决后重启继续上次位置读取数据。6.Maxwell需要在数据库中建立Maxwell库。

消息中间件，是利用高效可靠的消息传递机制进行异步的数据传输，并基于数据通信进行分布式系统的集成。通过提供那个消息队列模型和消息传递机制，可以在分布式环境下扩展进程间的通信。kafka是分布式的基于消息的发布-订阅的消息队列。LinkedIn（领英），Scala编写的。