Kafka的底层实现原理

2019独角兽企业重金招聘Python工程师标准>>>

Kafka的架构组建

Topic:消息存放的目录主题

Producer:生产消息到topic的一方

Consumer:订阅topic消费消息的一方

Consumergroup:各个consumer可以组成一个组，每个消息只能被组中的一个consumer消费，如果一个消息能被多个consumer消费，那么这些个consumer肯定不在同一个组中

（所以同一个groupid下的consumer是各自消费消息的，不会出现消费同一个消息的情况出现

 

 

 

Kafka性能优秀原因揭秘

1. kafka中的message并不是保存在内存中的，而是保存在了磁盘上，唯一的区别是他运用了顺序写，而并非采用随机写，顺序写的速度在600MB/S，随机写的速度在100KB/S，这个性能的提升的效果明显的，顺序写的效率并不比内存写差，甚至合理运用效率更高（充分利用了操作系统的预读、后写机制）
2. kafka通过sendfile命令，减少了数据拷贝，数据的拷贝基本全在内存中完成。（原先是将数据从硬盘读到内核区的pageCache,然后用户进程copy到用户区，用户区在吧数据写进socket中）现在是省掉了用户copy数据这一步，直接让内核区的数据写入socket中
3. push-and-pull：producer批量的push数据，consumer批量的pull数据，减少了io的次数

 

 

kafka和rabbitmq区别

 

1. rabbitmq比kafka更严谨，不易出现消息的丢失，原因是rabbit有一个ack消息确认机制，只有消息处理完毕后，consumer才会给server发送一个回执，将queue中的消息删除，否则不会被删除
2. rabbitmq同样支持持久化，配置一个durable = true即可

 

转载于:https://my.oschina.net/u/3869202/blog/3037740