Tattoo

Kafka是什么Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费Kafka安装安装条件Kafka的安装需要在Hadoop已经成功安装的基础上，并要求Hadoop集群已经正常启动使用如下命令，看可否正常显示HDFS上的目录列表ha...

kafka高吞吐量的实现原理：一、顺序读写磁盘，充分利用了操作系统的预读机制。kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写二、linux中使用sendfile命令，减少一次数据拷贝，如下。①把数据从硬盘读取到内核中的页缓存。②把数据从内核中读取到用户空间。(send...