
Kafka
文章平均质量分 93
文大侠666
专注安全领域,擅长Go/C++,玩点大数据。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
3.kafka 重要参数和性能测试
参数配置不同的参数对集群性能影响很大,除了之前基础与安装中指定的参数,还有一些中要的参数值得注意,包括如下Broker参数Topic 管理auto.create.topics.enable:是否允许自动创建 Topic,一般设为false,允许集群管理员统一分配和管理。unclean.leader.election.enable:是否允许 Unclean Leader 选举,一般设为false,不允许落后太多的副本参与选举。auto.leader.rebalance.enable:是否允许定原创 2021-06-14 16:39:50 · 731 阅读 · 1 评论 -
2.kafka 选择和集群部署规划
kafka有不同的发行版和版本号,部署时选择什么样的硬件等都决定kafka不同的特性和性能,在正式上线前通常需要考虑如下选择:发行版本选择当kafka作为一个开源框架有自己的一套生态,不仅有原生的kafka框架,也有开源公司在社区版本基础上扩展开发的发行版,相比来说提供的功能更多,使用更加友好,但是定制性下降,目前主流版本如下:Apache Kafkakafka的社区发行版,最正宗,大公司一般在此基础上定制自己的版本,但是特性相比较少,比如缺少自带的集群监控系统,个人用适用于简单流处理场合。另外原创 2021-06-14 16:11:07 · 337 阅读 · 0 评论 -
1.kafka 基础与安装
基础Kafka是基于Scala开发的多分区、多副本基于ZooKeeper协调的分布式消息引擎系统。和传统的消息队列/消息中间件不同,如下图,kafka一般当作集群用,支持如下功能:消息系统:类似传统消息队列(中间件)的功能,常用于系统解耦和异步处理,相比前辈它提供了消息顺序性和回溯消费等功能。存储系统:Kafka默认将消息顺序保存到磁盘上,其提供了多副本机制,非常适合做长期数据存储系统。...原创 2019-07-11 18:10:37 · 336 阅读 · 0 评论