cowbin2012的专栏

kafka相关的常用命令后台启动kafkakafka-server-start.sh /opt/app/kafka_2.11-1.1.0/config/server.properties > /dev/null 2>&1 &关闭kafkakafka-server-stop.sh创建topictopic的添加和修改使用下面命令bin/kafka-topics...

1. Kafka概要设计kafka在设计之初就需要考虑以下4个方面的问题：吞吐量/延时消息持久化负载均衡和故障转移伸缩性1.1 吞吐量/延时对于任何一个消息引擎而言，吞吐量都是至关重要的性能指标。那么何为吞吐量呢？通常来说，吞吐量是某种处理能力的最大值。而对于Kafka而言，它的吞吐量就是每秒能够处理的消息数或者每秒能够处理的字节数。很显然，我们自然希望消息引擎的吞吐量越大越好。...

一：Kafka简介Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。二：Kafka基本架构它的架构包括以下组件：1...

源码地址springboot2教程系列写性能非常高，因此，经常会碰到Kafka消息队列拥堵的情况 经测试，如果该topic只有一个分区，实际上再启动一个新的消费者，没有作用 。ConcurrentKafkaListenerContainerFactory并且设置了factory.setConcurrency(4); （我的topic有4个分区，为了加快消费将并发设置为4，也就是有4个K...

原文：http://valleylord.github.io/post/201607-mq-kafka/现代的互联网分布式系统，只要稍微大一些，就一定逃不开3类中间件：远程调用（RPC）框架、消息队列、数据库访问中间件。Kafka 是消息队列中间件的代表产品，用 Scala 语言实现，本文采用的是 Kafka_2.11 0.10.0.0 版本进行实验。基本概念首先，Kafka 中有一些基...

1. Kafka全部数据清空kafka全部数据清空的步骤为：停止每台机器上的kafka；删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录；删除zookeeper上与kafka相关的znode节点；重启kafka、如果删除topic还在则需要重启zookeeper；这里以192.16...

简历写了会Kafka，面试官90%会让你讲讲acks参数对消息持久化的影响目录（0）写在前面（1）如何保证宕机时数据不丢失？（2）多副本冗余的高可用机制（3）多副本之间数据如何同步？（4）ISR到底指的什么东西？（5）acks参数的含义？（6）最后的思考个人公众号：石杉的架构笔记（ID:shishan100）（0）写在前面面试大厂时，一旦简历上写了Kafka，几乎必然会被问到...