du_denglan的专栏

Kafka 从字面意思，可以看出来就是 ka f ka 是一个有序的 文件 消息队列进什么出什么 ！ Kafka 从logo上可以看到 他是一个分布式的结构 一个大节点 管理几个小节点 一个 zookeeper 管理 和 多个 broker 进程节点 (多台机器) 一个 Topic 和 多个 Partition （多个Broker上）...

Kafka-高并发 怎么支撑百万级并发？ 将消息批量 RecordBatch 写入； Kafka-高性能 百万级，怎么快速写入？ 内部机制采用ZoreCopy 零拷贝机制，数据并不直接写磁盘，而是写入到 Page Cache （反正就是很快，和写内存一样，和写redis一样) 然后靠PageCache机制，自动写入磁盘；如果此时消费者对接过来，取数据可以先从PageCache里去取。如果没有就找磁...

Kafka 可以治 三高： 高并发，高性能，高可用 我先结合我们公司为什么选择Kafka. 一、我们公司是一个房地产的大数据公司；Kafka截止目前，算是大数据消息中间件传输的业界标杆.所以选择它一定没有错！ 二、公司团队有 PHP(1/2) ，python(1/4), java(1/8),golang(1/8)... 数据量巨大，语言众多，让我们选择更简单的Kafka,而不是Roc...

为了简单高效的业务处理；以沟通工具为例，如果回到5千年前，人与人之间的沟通必须是面对面的。人与人耦合太严重了；见不到面，就说不上话了~ 后来有了中间件，传话人，传信人，飞鸽，电报，电话，EMAIL，MSN，QQ，微信;为了方便系统的传输，同样中间件经历了，TIB,IBMMQ,MSMQ,JMS,AMQP/RABBITMQ/ACTIVEMQ,Kafka,ROCKETMQ;通信的发展，让人与人之间可以时实的远程通信（做为一个发送/生产消息的人，不需要关心，不需要知道对方何时，何地）同样（做为一个收/消费.

什么是消息中间件？消息中间件一个能传递消息的管道；又可称消系系统，消息队列，MQ。用于系统之间的异步通信：由系统A生产消息至 中间件 ，系统B消费 中间件的消息，达到异步通信；这和我们的即时通讯系统 微信、QQ这种沟通软件很像，沟通APP是用于 人与人之间的通信，用消息中间件来表述： 一个人将消息发至 消息中间件（微信），另一个人从 微信上读取消息；整个过程就是一个异常通信的过程；...