Felix_CB的博客

kafka主题删除，查看主题详情，修改分区kafka主题删除#step 1 执行kafka删除命令sh kafka-topics.sh — zookeeper zookeeper_host:2181 -- delete -- topic <topic_name>#step 2 删除zookeeper内该topic 相关信息rmr /brokers/topics/<topic_name>rmr /admin/delete_topics/<topic_name>

Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS,S3等，可以把这些大的文件存放到共享...

本文摘自胡夕 《Apache Kafka实战》，详细内容，请购买正版书籍集群环境规划典型的生产环境至少需要部署多个节点共同组成一个分布式集群整体为我们提供服务。本章将会详细讨论生产环境中集群的安装、配置与验证。不过在此之前，我们还需要解决 3 个方面的问题。它们分别是操作系统的选型、硬件规划和容量规划。操作系统的选型谈到操作系统，很多人可能会问： Kafka 不是JVM系的大数据框架吗？而...

Apache Kafka：优化部署的 10 种最佳实践本文要点1. 设置日志配置参数以使日志易于管理2. 了解 kafka 的 (低) 硬件需求3. 充分利用 Apache ZooKeeper4. 以正确的方式设置复制和冗余5. 注意主题配置6. 使用并行处理7. 带着安全性思维配置和隔离 Kafka 通过提高限制避免停机8. 通过提高 Ulimit 避免停机9. 保持低网络延迟10. 利用有效的...

NAMEDESCRIPTIONTYPEDEFAULTVALID VALUESIMPORTANCEDYNAMIC UPDATE MODEzookeeper.connectZookeeper host stringstringhighread-onlyadvertised.host.nameDEPRECATED: only used when adve...

kafka常用命令启动kafka查看当前服务器中的所有topic创建topic删除topic开启控制台生产者,向指定topic写数据开启控制台消费者,消费指定topic中的数据查看某个topic详情启动kafkabin/kafka-server-start.sh -daemon config/server.properties#或者nohup bin/kafka-server-start....

//生产压测bin/kafka-producer-perf-test.sh --topic test_perf --num-records 1000 --record-size 2000 --throughput 10 --producer-props bootstrap.servers=localhost:9092//消费压测bin/kafka-consumer-perf-test.sh ...

Kafka-eagle监控服务部署注：前提已经启动zookeeper，kafka，mysql1、 解压安装包wget https://github.com/smartloli/kafka-eagle-bin/archive/v1.2.7.tar.gztar -zxvf v1.2.7cd kafka-eagle-bin-1.2.7tar -zxvf kafka-eagle-web-1.2...

单机版kafka安装部署文档一、环境准备1. 依赖jdk2. 依赖zookeeper二、下载kafka、解压1. 官网免费下载2. 解压一、环境准备1. 依赖jdk2. 依赖zookeeper我们这里直接使用kafka内置的zookeepoer,简单方便二、下载kafka、解压1. 官网免费下载http://kafka.apache.org/downloads2. 解压tar -...

使用消费者组实现消息队列的两种模式Kafka集群的数据需要被不同类型的消费者使用，而不同类型的消费者处理逻辑不同。Kafka使用消费组的概念，允许一组消费者进程对消费工作进行划分。每个消费者都可以配置一个所属的消费组，并且订阅多个主题。Kafka会发送每条消息给每个消费组中的一个消费者进程（ 同一条消息广播给多个消费组，单播给同一组中的消费者）。被订阅主题的所有分区会平均地负载给订阅方，即消费组...

Kafka生产者1. 生产者模式Kafka生产者有两种工作模式，即同步模式和异步模式。异步模式下，生产者客户端应用程序不需要提供回调函数，生产者客户端应用程序发送完一条消息后，不需要关心服务器端处理完了没有，可以接着发送下一条消息。服务端在处理完每一条消息后，会自动触发回调函数，返回响应结果给客户端。同步模式下，生产者发送完一条消息后，必须等待服务端返回响应结果，然后才能发送下一条消息。...