本文探讨了Kafka如何利用顺序写入磁盘、多分区实现高效消息处理，以及零拷贝技术优化数据传输流程，重点关注批量压缩和内存映射的优化策略。
1、 kafka基于顺序写入磁盘的方式
2、多个patition
3、批量处理消息
4、批量消息可以通过压缩，减少消息体积，KAFKA支持Gzip和Snappy压缩协议。
5、零拷贝
正常流程：磁盘文件 --> 拷贝到内核空间 --> 拷贝到用户空间 --> 拷贝到内核空间 --> 拷贝到网卡
零拷贝：通过mmap代替read，减少一次拷贝。
磁盘文件 --> 拷贝到内核空间 --> 拷贝到内核空间 --> 拷贝到网卡
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
