qq_32677137的博客

Kafka高级(6)-Kafka配额限速机制(Quotas)文章目录Kafka高级(6)-Kafka配额限速机制(Quotas)限制producer端速率限制consumer端速率取消Kafka的Quota配置生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。

Kafka高级(5)-Kafka中数据清理(Log Deletion)文章目录Kafka高级(5)-Kafka中数据清理(Log Deletion)删除定时日志删除任务基于时间的保留策略设置topic 5秒删除一次基于日志大小的保留策略基于日志起始偏移量保留策略日志压缩Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式：日志删除（Log D

1. 分区的leader与follower2. Kafka生产、消费数据工作流程3. 消息不丢失机制4. Leader选举

Kafka高级(3)-监控工具Kafka-eagle介绍Kafka-Eagle简介在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Ma

1.kafka高级API2.kafka低级API3. 手动消费kafka的数据

1. 生产者分区写入策略2. 消费者组Rebalance机制3. 消费者分区分配策略4. 副本机制，ACK

kafka入门(6)-kafka生产者幂等性与事务幂等性简介拿http举例来说，一次或多次请求，得到地响应是一致的（网络超时等问题除外），换句话说，就是执行多次操作与执行一次操作的影响是一样的。如果，某个系统是不具备幂等性的，如果用户重复提交了某个表格，就可能会造成不良影响。例如：用户在浏览器上点击了多次提交订单按钮，会在后台生成多个一模一样的订单。Kafka生产者幂等性在生产者生产消息时，如果出现retry时，有可能会一条消息被发送了多次，如果Kafka不具备幂等性的，就有可能会在part

kafka入门(5)-kafka架构Kafka重要概念broker一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB消息而不影响性能zookeeperZK用来管理和协调broker，并且存储了Kafka的元数据（例如：有多少topic、partition、consumer）ZK服务主要用

kafka入门(4)-java操作kafka准备工作创建maven工程导入Maven Kafka POM依赖<repositories><!-- 代码库 --> <repository> <id>central</id> <url>http://maven.aliyun.com/nexus/content/groups/public//</url> <re

kafka入门(3)-基础操作和基准测试基础操作创建topic创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。# 创建名为test的主题bin/kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic test# 查看目前Kafka中的主题bin/kafka-topics.sh --list --bootstrap-server no

kafka入门（2）—— 环境搭建搭建Kafka集群将Kafka的安装包上传到虚拟机，并解压tar -vxzf kafka_2.12-2.4.1.tgzcd kafka_2.12-2.4.1修改 server.properties#21行 指定broker的idbroker.id=0#60行 指定Kafka数据的位置log.dirs=/export/servers/kafka_2.12-2.4.1/data#123行 zookeeper集群地址zookeeper.connec

kafka入门（1）——简介消息队列简介什么是消息队列消息队列，英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是一种用来存储消息的队列。来看一下下面的代码：// 1. 创建一个保存字符串的队列Queue<String> stringQueue = new LinkedList<String>();// 2. 往消息队列中放入消息stringQueue.offer("hello");// 3. 从消息队列中取出消息并打印System.