Yage的博客

1 概述Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自动平衡消费者；它将消息持久化到磁盘，因此可用于批量消费，例如ETL以及实时应用程序。Kafka凭借着自身的优势，越来越受到互联网企业的青睐，。Kafka作为一个商业级消息中间件，消息可靠性的重要性可想而知。如何确保消息的精确传输？如何...

这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下。1、页缓存技术 + 磁盘顺序写首先Kafka每次接收到数据都会往磁...

1 背景引入这篇文章，给大家聊一下写入Kafka的数据该如何保证其不丢失？看过之前的文章《面试官：消息中间件如何实现每秒几十万的高并发写入》的同学，应该都知道写入Kafka的数据是会落地写入磁盘的。我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了Kafka的核心架构原理。2 Kafka分布式存储架构那么现在问题来了，如果每天产生几十TB的数据，难道都写一台机器的磁盘上吗？这...

这篇文章开始，我们把消息中间件这块高频的面试题给大家说一下，也会涵盖一些MQ中间件常见的技术问题。假如面试官看你简历里写了MQ中间件的使用经验，很可能会有如下问题：你们公司生产环境用的是什么消息中间件？为什么要在系统里引入消息中间件？引入消息中间件之后会有什么好处以及坏处？好，我们一个个的来分析！一 你们公司生产环境用的是什么消息中间件？这个首先你可以说下你们公司选用的是什么消息...

一 前情回顾上篇文章《哥们，你们的系统架构中为什么要引入消息中间件呢？》，给大家讲了讲消息中间件引入系统架构的作用，主要是解决哪些问题的。其比较常见的实践场景是：复杂系统的解耦复杂链路的异步调用瞬时高峰的削峰处理二 正式开始这篇文章给大家讲讲，如果你在系统架构里引入了消息中间件之后，会有哪些缺点？1 系统可用性降低首先是你的系统整体可用性绝对会降低，给你举个例子，我们就拿之前...

集群环境Master：192.168.230.10Slave1：192.168.230.11Slave2：192.168.230.12软件环境kafka_2.11-0.10.2.1.tgz解压安装包在Master上安装[root@master kafka]# tar -xzvf kafka_2.11-0.10.2.1.tgz修改配置文件修改$KAFKA_HOME/config...

启动zookeeper，在master、salve1和slave2上分别启动[root@master bin]# ./zkServer.sh start三个节点启动后，别忘了查看一下启动状态：[root@master bin]# ./zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/src/zookeep...