cowbin2012的专栏

kafka相关的常用命令 后台启动kafka kafka-server-start.sh /opt/app/kafka_2.11-1.1.0/config/server.properties > /dev/null 2>&1 & 关闭kafka kafka-server-stop.sh 创建topic topic的添加和修改使用下面命令 bin/kafka-topics...

1. Kafka概要设计 kafka在设计之初就需要考虑以下4个方面的问题： 吞吐量/延时 消息持久化 负载均衡和故障转移 伸缩性 1.1 吞吐量/延时 对于任何一个消息引擎而言，吞吐量都是至关重要的性能指标。那么何为吞吐量呢？通常来说，吞吐量是某种处理能力的最大值。而对于Kafka而言，它的吞吐量就是每秒能够处理的消息数或者每秒能够处理的字节数。很显然，我们自然希望消息引擎的吞吐量越大越好。...

一：Kafka简介 Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 二：Kafka基本架构 它的架构包括以下组件： 1...

源码地址 springboot2教程系列 写性能非常高，因此，经常会碰到Kafka消息队列拥堵的情况 经测试，如果该topic只有一个分区，实际上再启动一个新的消费者，没有作用 。 ConcurrentKafkaListenerContainerFactory并且设置了factory.setConcurrency(4); （我的topic有4个分区，为了加快消费将并发设置为4，也就是有4个K...

原文：http://valleylord.github.io/post/201607-mq-kafka/ 现代的互联网分布式系统，只要稍微大一些，就一定逃不开3类中间件：远程调用（RPC）框架、消息队列、数据库访问中间件。Kafka 是消息队列中间件的代表产品，用 Scala 语言实现，本文采用的是 Kafka_2.11 0.10.0.0 版本进行实验。 基本概念 首先，Kafka 中有一些基...

1. Kafka全部数据清空 kafka全部数据清空的步骤为： 停止每台机器上的kafka； 删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录； 删除zookeeper上与kafka相关的znode节点； 重启kafka、如果删除topic还在则需要重启zookeeper； 这里以192.16...

简历写了会Kafka，面试官90%会让你讲讲acks参数对消息持久化的影响 目录 （0）写在前面 （1）如何保证宕机时数据不丢失？ （2）多副本冗余的高可用机制 （3）多副本之间数据如何同步？ （4）ISR到底指的什么东西？ （5）acks参数的含义？ （6）最后的思考 个人公众号：石杉的架构笔记（ID:shishan100） （0）写在前面 面试大厂时，一旦简历上写了Kafka，几乎必然会被问到...