【译】Kafka最佳实践 / Kafka Best Practices

最新推荐文章于 2025-05-13 00:20:04 发布
最新推荐文章于 2025-05-13 00:20:04 发布
阅读量269 收藏
点赞数
文章标签： 大数据 运维 java

本文来自于DataWorks Summit/Hadoop Summit上的《Apache Kafka最佳实践》分享，里面给出了很多关于Kafka的使用心得，非常值得一看，今推荐给大家。

硬件配置

 

JBOD: Just bunch of disks，就是普通的一堆磁盘组成的集群

OS调优

1 页缓存：尽量分配与所有日志的激活日志段大小相同的页缓存大小
2 文件描述符限制： 10万以上
3 禁掉swap
4 使用Java 8和G1，分配6~8GB的堆大小

 磁盘调优

1 使用多块磁盘，专属分配给kafka
2 一般环境使用JBOD即可，但JBOD有一些固有的缺陷，比如磁盘失败将导致Kafka异常关闭，造成数据不一致，社区已经着手解决
3 使用EXT4或XFS
4 尽量使用SSD

基本监控

1 CPU负载
2 网络带宽
3 文件句柄数
4 磁盘空间
5 磁盘IO性能
6 垃圾回收
7 zookeeper监控

如何监控备份不足情况发生？

JMX指标：kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions

可能原因
  • broker挂了
  • controller问题
  • zk问题
  • 网络问题
解决办法
  • 调整ISR参数，比如 min.insync.replica和replica.lag.time.max.ms, num.replica.fetchers
  • 增加broker数

 controller问题

1 避免zk会话超时
  • ISR抖动
  • zk性能问题
  • Long GC
  • 网络问题
 2 监控controller
  • kafka.controller:type=KafkaController,name=ActiveControllerCount应该=1
  • 监控LeaderElectionRate

unclean leader选举

1 允许非ISR中的副本成为leader
2 监控JMX指标： kafka.controller:type=ControllerStats,name=UncleanLeaderElectionsPerSec

集群评估(sizing)

1 broker评估
  • 单broker上的分区数<2000
  • 控制分区大小，不要超过25GB
2 broker数评估：根据retention和流量进行评估
3 集群扩展
  • 磁盘使用率<60%
  • 网络使用率<75%
4 集群监控
  • 确保topic分区分布尽量均匀
  • 确保broker节点不会磁盘、带宽耗尽

broker监控

1 分区数： kafka.server:type=ReplicaManager,name=PartitionCount
2 leader副本数： kafka.server:type=ReplicaManager,name=LeaderCount
3 ISR扩容率/缩容率：kafka.server:type=ReplicaManager,name=IsrExpandsPerSec
4 入站消息/出站消息：Message in rate/Byte in rate/Byte out rate
5 broker网络请求处理平均空闲率： NetworkProcessorAvgIdlePercent
6 请求平均处理空闲率： RequestHandlerAvgIdlePercent

topic评估

1 分区数
  • 至少和最大的消费者组中consumer的数量一致
  • 分区不要太大，小于25GB
  • 要考虑未来业务的扩容
2 使用keyed消息，即指定key
3 为扩展分区确立阈值，即确定当分区大小达到阈值时增加topic分区数

选择分区

1 基于TPS需求大致确定分区数, 即目标TPS/min(Producer TPS, Consumer TPS)
2 更多分区意味着更多的文件句柄、消息处理延时和更多的内存使用

份额控制

1 避免恶意客户端并维护SLA
2 设定字节率阈值限制
3 监控throttle-rate，byte-rate
4 replica.fecth.response.max.bytes： 设置follower副本FETCH请求response大小
5 限制带宽： kafka-reassign-partitions.sh --throttle options...

Kafka producer

1 使用Java版本producer
2 使用kafka-producer-perf-test.sh测试
3 设置好内存、cpu、batch、压缩等参数
  • batch.size: 越大，TPS越大，延时也越大
  • linger.ms: 越大，TPS越大，延时也越大
  • max.in.flight.requests.per.connection: 增加TPS，关乎消息接收顺序
  • compression.type: 设置压缩类型，提升TPS
  • acks: 设置消息持久性级别 
4 避免发送大消息(会使用更多内存，降低broker处理)

性能调优

1 如果TPS<网络带宽
  • 增加用户线程
  • 增加batch size
  • 使用多个producer实例
  • 添加分区
2 acks=-1时如何降低延时：增加num.replica.fetchers
3 跨数据中心的传输：增加Socket缓冲区设置，以及TCP缓存设置

监控指标

  • batch-size-avg
  • compression-rate-avg
  • waiting-threads
  • buffer-available-bytes
  • record-queue-time-max
  • record-send-rate
  • records-per-request-avg

Kafka Consumer

1 使用kafka-consumer-perf.test.sh测试
2 TPS问题
  • 分区数不够
  • OS缓存命中太低，分配更多页缓存
  • 处理逻辑过重
3 位移管理： 异步提交+手动提交
4 重要参数
  • fetch.min.bytes、fetch.max.wait.ms
  • max.poll.interval.ms
  • max.poll.records
  • session.timeout.ms

监控

1 consumer lag
2 JMX指标： records-lag-max
3 bin/kafka-consumer-groups.sh
4 如何减少lag
  • 分析consumer，是GC问题还是consumer hang住了
  • 增加consumer instances
  • 增加分区数

无数据丢失配置

1 producer端
  • retries = MAX
  • acks=all
  • max.in.flight.requests.per.connection = 1
  • 关闭producer
 2 broker端
  • replication factor >= 3
  • min.insync.replicas = 2
  • 关闭unclean leader选举
 3 consumer端
  • 关闭auto.offset.commit
  • 消息被处理后提交位移
Kafka 最佳实践：构建稳定高效的分布式消息系统
u013558123的博客
03-31 403
Kafka 是一个功能强大的分布式消息系统，通过遵循最佳实践，可以构建稳定高效的分布式消息系统。在实际应用中，根据您的需求选择合适的 Kafka 配置，并正确使用 Kafka，可以确保您的数据处理任务能够高效地完成。
Kafka 在 Golang 中的最佳实践：提升你的消息处理能力
Golang编程笔记的博客
04-23 1084
Apache Kafka 作为分布式流处理平台，广泛应用于日志收集、事件驱动架构、微服务解耦等场景。Golang（简称 Go）凭借其高效的并发模型、简洁的语法和原生支持高性能网络编程的特性，成为 Kafka 客户端开发的理想选择。本文旨在通过系统化的技术解析，帮助开发者掌握在 Go 中使用 Kafka 的核心技术点，包括生产者配置、消费者组管理、消息可靠性保证、性能优化及常见问题处理。本文从基础概念入手，逐步深入到代码实现、性能优化和实战案例，最后提供工具资源和未来趋势分析。
超详细！ kafka 入门最佳实践
民工哥的博客
02-05 1784
点击下方“民工哥技术之路”，选择“设为星标”回复“1024”获取独家整理的学习资料！认识 kafkakafka简介Kafka 是一个分布式流媒体平台，kafka官网：http://kafk...
kafka最佳实践
Proxbj的博客
12-13 818
kafka,java
Kafka最佳实践
east4ming的博客
03-13 731
Kafka 最佳实践，涉及典型使用场景Kafka 使用的最佳实践。
Kafka 生产者与消费者在大数据领域的最佳实践
大数据洞察的博客
04-30 802
在大数据处理领域，Apache Kafka 作为分布式流处理平台，已成为构建实时数据管道的事实标准。本文聚焦 Kafka 生态中生产者（Producer）与消费者（Consumer）的核心机制，深入解析消息生产的可靠性保障、消费端的高效处理策略，以及端到端一致性实现等关键议题。通过理论分析、数学建模与代码实战，为数据工程师提供可落地的最佳实践，覆盖从基础配置到复杂场景优化的全流程。核心概念：解析生产者/消费者架构，构建消息流转的全局视图算法与模型：量化分析吞吐量、延迟与可靠性的平衡关系实战指南。
大数据场景下 Kafka 的数据加密方案
AI天才研究院
04-19 1121
随着企业数字化转型，Kafka 承载的用户行为日志、交易记录、设备数据等敏感信息日益增多。2023 年 Verizon 数据泄露报告显示，32% 的数据泄露涉及消息队列系统。本文聚焦 Kafka 数据在传输中（In Transit）存储时（At Rest）处理中（In Processing）的全生命周期加密需求，覆盖 Apache Kafka 2.8+ 版本的加密技术体系，包含协议层、存储层、应用层的端到端安全方案。基础体系：解析加密核心概念与技术栈关联技术原理：深入传输/存储/端到端加密的算法与实现。
利用Kafka构建大数据领域的实时搜索系统
最新发布
AI天才研究院
05-13 961
在大数据时代，企业对实时数据处理与检索的需求日益增长。传统离线搜索系统无法满足秒级甚至亚秒级的实时性要求，而基于Kafka的实时搜索系统能够通过消息队列解耦数据生产与消费，实现高吞吐量的数据流转和低延迟的索引更新。Kafka在实时数据管道中的核心作用实时搜索系统的架构设计与组件协同数据一致性与性能优化的工程实践典型应用场景的落地经验背景介绍与核心术语定义Kafka与实时搜索系统的核心概念及架构关系数据同步与索引更新的核心算法与Python实现吞吐量与延迟的数学模型分析。
Kafka安全性与访问控制
AI天才研究院
06-08 1188
Kafka安全性与访问控制 1.背景介绍 Apache Kafka是一个分布式流处理平台,被广泛应用于大数据领域。随着越来越多的企业采用Kafka作为关键的数据管道,确保Kafka的安全性和访问控制变得至关重要。本文将深入探讨Kafka安全性和访问控制的核心概念、实现原理和最佳实践。
kafka开发最佳实践
破晓之光
12-22 556
2. 分区和副本的设计：在设计Kafka集群时，需要考虑分区和副本的数量。同时，副本的数量应该等于或大于集群节点的数量，以确保数据的冗余和可用性。总之，Kafka开发的最佳实践包括使用最新版本的Kafka、合理设计分区和副本、使用异步生产者、使用压缩、优化消费者的配置、使用消费者组、进行监控和日志管理。4. 使用压缩：Kafka支持消息的压缩，可以将消息在发送之前进行压缩，减少网络传输的开销和存储的占用。通过为每个消费者分配不同的消费者组，可以将消息分配到不同的消费者上，并且每个消费者可以并行地处理消息。
kafka最佳实战经验
热门推荐
最怕一生碌碌无为，还安慰自己平凡可贵
07-30 2万+
Kafka 由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。但当前关于Kafka原理及应用的相关资料较少，在我打算编写本文时，还没有见到中文版本的Kafka相关书籍，对于初学者甚至是一些中高级应用者来说学习成本还是比较高的，因此我打算在对Kafka进行深入而系统的研究基础上，结合自己在工作中的实践经验，编写一本介绍Kafka原理及其基本应用的书籍，以帮助Kafka初、中、高级应用...
Kafka 最佳实践：构建高性能、可靠的数据管道
Coder加油站的专栏
06-17 2263
Apache Kafka 是一个强大且灵活的分布式流处理平台，通过遵循上述最佳实践，可以显著提高 Kafka 系统的性能、可靠性和安全性。无论是部署、主题设计、生产者和消费者配置，还是安全性、监控和故障恢复，每个环节都需要仔细规划和合理配置。希望这篇指南能帮助你更好地理解和使用 Kafka，构建高效、可靠的数据处理系统
Kafka系列---Kafka客户端使用最佳实践
FeelTouch Labs
07-11 1015
目录 1. consumer使用规范 2. producer使用规范 3. topic使用规范 4. 其他建议 1. consumer使用规范 consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 consumer不能频繁加入和退出group，频繁加入和退出，会导致consumer频繁做rebalance，阻塞消费。 consumer数量不能超过topic分.
Kafka使用过程中的一些最佳实践
正在进行时
12-23 397
组内最近一年都在使用Kafka做消息中间件做数据的流式处理，总结一下使用过程的经验教训 1.一些参数值的设定，主要是保证数据的不丢失 block.on.buffer.full = true 开启buffer缓存 acks = all retries = MAX_VALUE 生产者Producer端想kafka发送数据，要想数据不丢失，应该设置以上两个配置 max.in.fli...
Kafka在大型应用中的 20 项最佳实践
weixin_30633405的博客
10-10 423
原标题：Kafka如何做到1秒处理1500万条消息？ Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。 例如，在 New Relic 的生产环境中，Kafka 群集每秒能够处理超过 1500 万条消息，而且其数据聚合率接近 1T...
Prometheus kafka
02-10
### Prometheus Monitoring Setup for Kafka #### Overview of Integration Components Prometheus is a powerful open-source system monitoring and alerting toolkit that integrates well with various services, including Apache Kafka. For effective monitoring of Kafka brokers within Kubernetes environments, StatefulSets are utilized to ensure stable network identifiers for each broker instance[^1]. This setup facilitates reliable service discovery by Prometheus. To integrate Prometheus effectively into the Kafka ecosystem, several components play crucial roles: - **Prometheus Server**: Collects metrics from exporters. - **Kafka Exporter**: Exposes Kafka-specific metrics as HTTP endpoints consumable by Prometheus. - **Alertmanager**: Manages alerts generated based on predefined rules set up in Prometheus configurations[^3]. #### Configuration Steps For configuring Prometheus to monitor Kafka instances deployed via Kubernetes, one must first deploy the necessary exporters alongside or near the Kafka cluster nodes. After ensuring these exporters expose relevant metrics properly, editing the `prometheus.yml` file becomes essential. An example modification involves adding specific jobs targeting exporter endpoints like so: ```yaml scrape_configs: - job_name: 'kafka-broker' static_configs: - targets: ['<broker-ip>:9308'] # Replace <broker-ip> with actual IP address ``` Additionally, when deploying through Helm charts or similar methods inside K8S clusters, customizing scrape configurations might be required using tools such as ConfigMaps. Editing existing resources can also achieve this purpose: ```bash kubectl edit prometheus -n monitoring ``` Within this command's interactive editor session, append appropriate YAML sections under `additionalScrapeConfigs`, specifying paths pointing towards external configuration files containing details about how to discover and query target systems[^2]. After updating settings accordingly, reloading the Prometheus server ensures changes take effect without restarting the entire process: ```bash curl -X POST http://localhost:9090/-/reload ``` Verifying successful integration requires checking accessible web UI pages provided by both Prometheus (`http://localhost:9090/targets`) and Grafana dashboards configured later stages[^4]. #### Verification Process Once everything has been correctly configured, accessing the Prometheus Targets page should display healthy statuses next to all intended scraping sources related to Kafka operations. Additionally, setting up visualizations through Grafana panels allows operators better insights over time series data collected during runtime activities. --related questions-- 1. How does Alertmanager fit into the overall architecture of Prometheus-based monitoring solutions? 2. What benefits do StatefulSets offer compared to other types of workloads while managing stateful applications like Kafka? 3. Can you provide an overview of common pitfalls encountered during initial setups involving Prometheus and Kafka integrations? 4. In what ways could Service Discovery mechanisms improve dynamic environment adaptability concerning monitored entities? 5. Are there any best practices recommended regarding security measures around exposing sensitive information contained within exported metrics?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值