kafka

已于 2022-09-22 16:33:26 修改
阅读量1.3k 收藏
点赞数
分类专栏： 其他 文章标签： kafka zookeeper 分布式
于 2021-12-13 09:42:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Geneartion_Z/article/details/121898601
版权
本文介绍了如何使用Kafka创建和管理主题，包括`kafka-topics.sh`工具的操作，如列出主题、创建`zz2zj`和`pqbds`主题，以及删除`wzsstopic`。还展示了如何通过Flume进行数据消费和生产，包括使用`kafka-console-consumer`和`kafka-console-producer`。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

cd /usr/hdp/3.1.4.0-315/kafka/bin
查询列表
kafka-topics.sh --list --zookeeper datalake-spark1:2181

创建
./kafka-topics.sh --create --topic zz2zj --zookeeper datalake-spark1:2181 --partitions 3 --replication-factor 3

./kafka-topics.sh --create --topic pqbds --zookeeper datalake-spark1:2181 --partitions 3 --replication-factor 3

删除
bin/kafka-topics.sh --delete --zookeeper pb1:2181 --topic wzsstopic
消费者
bin/kafka-console-consumer.sh --bootstrap-server pb1:6667,pb2:6667,pb3:6667,pb4:6667,pb5:6667 --topic wzsstopic
生产者
bin/kafka-console-producer.sh --broker-list pb1:6667,pb2:6667,pb3:6667,pb4:6667,pb5:6667 --topic testtopic

cd /usr/hdp/3.1.4.0-315/kafka/ && bin/kafka-console-consumer.sh --bootstrap-server pb1:6667,pb2:6667,pb3:6667,pb4:6667,pb5:6667 --topic testtopic --from-beginning

/usr/hdp/current/flume-server/bin/flume-ng

/usr/hdp/current/flume-server/bin/flume-ng agent --conf /usr/hdp/current/flume-server/conf/ --conf-file /data/ftpuser1/flume/aqjc.conf --name aqjc -Dflume.root.logger=INFO,console

看完这篇Kafka，你也许就会了Kafka
AaronCao
01-13 19万+
Kafka学习 文章目录Kafka学习1. Kafka简介1.1 Kafka消费模式1.2 Kafka的基础架构1.3 Kafka的安装和使用2. Kafka高级2.1 工作流程2.2 文件存储2.3 生产者分区策略2.4 生产者ISR2.4.1 副本数据同步策略2.4.2 ISR(同步副本集)2.5 生产者ack机制2.6 数据一致性问题2.7 ExactlyOnce3. 消费者分区分配策略3.1 分区分配策略3.2 消费者offset的存储3.3 消费者组案例4. 高效读写&Zookeeper作
docker的kafka镜像
10-25
Kafka的Docker镜像通常包括Kafka的核心组件，比如Kafka服务器（broker）、ZooKeeper（Kafka内部使用的分布式协调服务）等。开发者可以利用这个镜像，省去从源代码编译和配置Kafka的繁琐步骤，从而提高开发效率和部署...
kafka的常用命令集锦
12-22
kafka的常用命令集锦
kafka中关于消息的命令
wyqwilliam的博客
12-11 1994
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test6 --from-beginning bin/kaf...
kafka常用命令
热门推荐
Gblfy_Blog
11-21 1万+
kafka常用命令
Kafka 常用命令
qq_42544599的博客
05-25 9131
kafka常用命令 1.TopicCommand 1.1.Topic创建 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3 --topic test 相关可选参数 参数 描述 例子 –bootstrap-server 指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要 –bootstrap-server
kafka2种工具 kafkatool-64bit.exe kafka-eagle-bin-1.4.6.tar.gz
01-27
在IT行业中，Kafka是一种广泛使用的分布式流处理平台，它由Apache软件基金会开发，主要用于构建实时数据管道和流应用。本文将围绕标题和描述中提到的两种Kafka工具——kafkatool-64bit.exe和kafka-eagle-bin-1.4.6....
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...
5、kafka监控工具Kafka-Eagle介绍及使用
05-29
Apache Kafka 是一个分布式流处理平台，常用于构建实时的数据管道和应用。Kafka 提供了高吞吐量、低延迟的消息传递能力，是大数据领域中重要的消息队列（MQ）解决方案。Kafka-Eagle 是针对 Kafka 集群设计的一款高效...
kafka 常用命令
m0_38028438的博客
08-03 223
守护进程启动 ./bin/kafka-server-start.sh -daemon config/server.properties 后台启动进程 nohub ./bin/kafka-server-start.sh config/server.properties& kafka 启动生产者 kafka-console-producer.sh --broker-list 172.31.5.138:9092,172.31.5.138:19092,172.31.5.138:29092 --topic
KAFKA常用命令
caoyang5858的专栏
06-30 377
无
KAFKA 常用命令
Stefan的博客
08-28 458
kafka常用命令
Kafka常用命令行总结
小程故事多
12-10 254
以下是kafka常用命令行总结： 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-...
Kafka
最新发布
06-07
### Kafka 使用教程和核心技术详解 Kafka 是一个分布式流处理平台，最初由 LinkedIn 开发，并于 2011 年开源。它被设计为高吞吐量、低延迟的消息系统，广泛用于日志收集、监控数据聚合、流式数据处理等领域[^1]。 #### Kafka 的核心概念 Kafka 的架构围绕几个关键概念展开： - **主题（Topic）**：Kafka 中消息的类别或提要名称。生产者将消息发布到特定主题，消费者从主题中订阅消息。 - **分区（Partition）**：每个主题可以划分为多个分区，分区是 Kafka 中并行处理的基础单位。 - **副本（Replica）**：为了提高可靠性，Kafka 会为每个分区创建多个副本，分布在不同的 Broker 上。 - **消费者组（Consumer Group）**：消费者可以组成一个组来共同消费一个主题的消息，组内的每个消费者负责处理一部分分区的消息[^2]。 #### Kafka 的使用方法 Kafka 提供了多种客户端库以支持不同编程语言的开发。以下是一个简单的 Python 示例，展示如何使用 Kafka 生产者和消费者： ```python from kafka import KafkaProducer, KafkaConsumer # 创建 Kafka 生产者 producer = KafkaProducer(bootstrap_servers='localhost:9092') # 发送消息到指定主题 producer.send('my-topic', b'Hello, Kafka!') producer.flush() producer.close() # 创建 Kafka 消费者 consumer = KafkaConsumer( 'my-topic', bootstrap_servers='localhost:9092', auto_offset_reset='earliest', enable_auto_commit=True, group_id='my-group' ) # 消费消息 for message in consumer: print(f"Received message: {message.value.decode('utf-8')}") ``` #### Kafka 的核心技术详解 Kafka 的核心技术主要包括以下几个方面： - **持久化日志**：Kafka 将消息存储在磁盘上，并通过顺序写入操作优化性能。这种设计使得 Kafka 能够提供高吞吐量和持久性保证。 - **分区与并行性**：通过将主题划分为多个分区，Kafka 实现了水平扩展的能力。每个分区可以独立地被多个消费者消费。 - **复制机制**：Kafka 的复制机制确保了即使某些 Broker 出现故障，数据仍然可用。领导者分区负责读写操作，而跟随者分区则同步数据[^3]。 - **消费者偏移量管理**：Kafka 允许消费者自行管理偏移量，这为灵活的消费模式提供了支持，例如重新消费旧消息或跳过某些消息。 #### Kafka 的学习资料 对于初学者，可以从官方文档入手，了解 Kafka 的基本概念和配置选项。此外，还有许多在线课程和书籍可以帮助深入理解 Kafka 的原理和实践[^4]。 ```markdown - 官方文档: https://kafka.apache.org/documentation/ - 在线课程: Coursera、Udemy 等平台提供的 Kafka 课程 - 推荐书籍: "Kafka: The Definitive Guide" by Neha Narkhede, Gwen Shapira, and Todd Palino ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值