lianyuzhu的博客

Kafka是什么 Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等。   1.前言 一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。 下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储...

第一阶段，首次搭建应用网络如下： Web应用部署在云服务器上，为个人电脑或移动用户提供访问服务。 SQL数据库为Web应用提供数据持久化和数据查询。 第二阶段：基于业务的迅速发展，网络扩容如下： 增加缓存服务，从而降低SQL数据库的荷载。 搜集日志保存至Hadoop做离线处理，从而更加理解用户行为。 数据汇总至数据仓库，从而获取交互式报表。 加入实时模块和...

简单说明什么是kafka Apache kafka是消息中间件的一种，也许很多人不知道消息中间件是什么，在开始学习之前，我这边就先简单的解释一下什么是消息中间件，只是粗略的讲解，目前kafka已经可以做更多的事情。 举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就...