
kafka
jeff-y
所有文章用于个人记录,仅供参考,有错误的地方还请指出错误。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka集群重要的参数配置(三)
Broker端的参数 log.dirs:这是非常重要的参数,指定了 Broker 需要使用的若干个文件目录路径。要知道这个参数是没有默认值的,这说明什么?这说明它必须由你亲自指定。 log.dir:注意这是 dir,结尾没有 s,说明它只能表示单个路径,它是补充上一个参数用的。 只要设置log.dirs,即第一个参数就好了,不要设置log.dir。而且更重要的是,在线上生产环境中一定要为log....原创 2020-05-08 00:18:48 · 1010 阅读 · 0 评论 -
kafka的生产者分区机制原理(二)
kafka分区概念 消费者给kafka发送消息的时候相同的topic可以有多个分区。且分区可以被放在不同的服务器,消费者的消息只会被发送到一个分区里,比如说某个topic有100个分区,消费者产生了100条消息,此时各个分区都有一条消息。且每个分区都会有多个副本,且以其中的一个分区为leader,其他的分区为fllower。 kafka为什么要分区? 负载均衡,实现系统的高伸缩性。为什么这么...原创 2020-04-23 23:25:09 · 352 阅读 · 0 评论 -
【kafka】kafka学习笔记(一)
什么是kafka? 我们先看一下维基百科是怎么说的: Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,[这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统...原创 2020-03-15 12:49:02 · 473 阅读 · 0 评论 -
消息队列的使用(kafka举例)
我对消息队列的理解? 先举个列子,排队买票。在我们平时买火车票的时候是不是来一个人就要去排队等待,然后售票员根据排队的顺序去给他们卖票。我们可以将这个队伍看作一个容器,那这个容器就是消息队列了。 在Java的线程池中我们就会使用一个队列(BlockQueen等)来存储提交的任务; 在操作系统中中断的下半部分也会使用工作队列来实现延后执行 还有RPC框架,也会从网络上姐收到请求写到消息队列里,在启...原创 2020-03-14 17:24:19 · 551 阅读 · 0 评论