kafka——(一)：初识kafka

最新推荐文章于 2025-06-26 17:28:01 发布
原创 最新推荐文章于 2025-06-26 17:28:01 发布 · 1.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Kafka的基础知识，包括学习资源、使用场景、消息队列模式、常见消息系统比较以及Kafka各版本特性。文章还涵盖了安装启动、Producer与Consumer的使用，强调了Kafka的push-pull模式，以及其在保证消息顺序性和高吞吐量方面的设计特点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

学习资源安利

  1. 官网1.1
    ~2. Kafka 0.11.0中文文档【收费的】~
  2. 还是apachecn厚道靠普
  3. 李志涛csdn
  4. OrdHome kafka中文教程
  5. 郭俊 Jason的博客
  6. 知乎的讨论
  7. 视频资源，csdn搜索吧

需求

其实了解kafka也有一段时间了，最近可能需要从一个接口获得数据放进HDFS，感觉直接接受接口的数据放进Hive也不是不可以，但是考虑到稳定性可靠性，决定还是用下kafka，看看具体有什么不同。

参考：为什么使用消息系统【解耦、冗余、扩展、峰值处理能力、可恢复性、异步处理、顺序性、缓冲

主要是可靠性和普适性：前者中，消息队列起到安全缓存的作用，保证数据

最低0.47元/天 解锁文章

200万优质内容无限畅学
joptsimple.UnrecognizedOptionException: 'broker-list120.24.66.173:9092' is not a recognized option
lavimer
05-08 1万+
问题： Exception in thread "main" joptsimple.UnrecognizedOptionException: 'broker-list120.24.66.173:9092,120.24.169.139:9092,120.24.161.107:9092' is not a recognized option Exception in thread "main" j
解决zookeeper is not a recognized option问题
weixin_43857576的博客
12-01 2万+
安装配置 我在linux服务器部署kafka时，创建一个topic总会报这个错 使用命令 ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic hotitems 后面发现用其他的命令也是报这个错，kafka和zookeeper倒是能正常启动 在往上搜说时因为kafka3.0版本，创建topic的命令无法兼容低版本，还有说是server.properties
Kafka
最新发布
xujinwei_gingko的专栏
06-26 1241
Kafka是一个开源的分布式事件流平台(Event Streaming Platform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。它的主要应用场景：实时计算分析、数据同步、消息异步、服务解耦、日志收集等，下图演示通过Kafka实现服务解耦：Kafka有如下核心概念：1、Producer：kafka消息生产者2、Broker：kafka集群中的每个节点，这些节点数据被zookeeper管理3、Consumer：Kafka消息消费者。
创建生产者时候报错bootstrap-server is not a recognized option
m0_59576377的博客
11-20 600
注意：kafka的版本问题导致参数不一样，如果使用的是–zookeeper 一般后面就是接的某个机器的zookeeper的默认端口号2181，例如。报错了zookeeper is not a recognized option。上csdn解决了一下，这是因为kafka的版本号问题。也是报了类似的错误。
Apache Kafka: bootstrap-server is not a recognized option
qq_42240485的博客
08-02 3708
你可能是输入以下命令出现这个错误 bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test 进行以下修改便好 bootstrap-server 修改成 broker-list
kafka创建消费者报错：zookeeper is not a recognized option
dh12313012的博客
03-04 9444
kafka创建消费者报错：zookeeper is not a recognized option 最近在hadoop上搭建kafka的时候，使用 bin/kafka-console-producer.sh --broker-list hadoop132:9092,hadoop133:9092,hadoop134:9092 --topic first 此命令创建kafka消息生产者，也就是ha...
Apache Kafka深度解析：从入门到源码详解
第一部分，"分布式消息系统Kafka初识"，介绍了Kafka的基本概念和工作原理，包括消息模型、分区、复制机制等基础知识。 第二章，"kafka分布式环境搭建"，涵盖了Kafka集群的部署和配置，包括 broker、topic、...
Spark技术系列（一）：初识Apache Spark——大数据处理的统一分析引擎
Aaron_PHPer的博客
02-26 1471
Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。腾讯Spark集群达到8000台的规模，是当前已知的世界上最大的Spark集群。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器(Cluster Manager)上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度 器，叫作独立调度器。，负责资源的动态分配与任务调度。
Kafka学习(一)——初识与入门
hxyascx的博客
10-08 328
初识Kafka Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。 基本概念 一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群，如下图所示。其中 ZooKeeper 是 Kafka ...
kafka学习--初识kafka。
Rose1645的博客
05-24 997
学习背景：公司最近打算将之前的项目改造成分布式的。但我觉得是个坑。。。 简单来说就是将之前的单体应用（应用程序、数据库）部署多套在不同的地市上。应用给统一的入口，相互之间的数据同步在应用层面进行同步。（其实数据库层面同步比较不坑，那样的话就不用从繁杂的业务里把数据的操作挑出来进行同步了。）。应用层面进行消息同步，所以选择了kafka这个消息中间件。于是就开始了kafka的学习之路。1、 消息队列（...
Kafka系列之broker-list,bootstrap-server以及zookeeper
wangshiqi666的博客
04-28 2855
kafak中broker-list和bootstrap-servers
KafkaBroker
Loser_you的博客
05-27 2503
一、Kafka Broker 工作流程 1.1 zookeeper中存储的kafka信息 启动zk客户端： ./bin/zkCli.sh 查看kafka信息： ls /kafka 1.2 kafka broker 总体工作流程 broker启动，向zk注册自己 先注册的controller为controller的leader 由选出的controller监听brokder节点的变化 controller决定选举broker的leader controller将节点信息上传至zk
【kafka】——Broker
qq_42000631的博客
09-28 5063
kafka broker
Kafka集群部署
a280966503的博客
01-12 380
Kafka集群部署 1）解压安装包 [atguigu@hadoop102 software]$ tar -zxvfkafka_2.11-0.11.0.0.tgz -C /opt/module/ 2）修改解压后的文件名称 [atguigu@hadoop102 module]$ mvkafka_2.11-0.11.0.0/ kafka 3）在/opt/module/kafka目录下创建lo
zookeeper is not a recognized option zookeeper参数不支持
我的博客
11-19 1万+
– zookeeper is not a recognized option主要原因是 Kafka 版本过高，命令不存在。 解决方法 继续使用新版本 ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning Kafka更换成老版本，并使用 --zookee...
kafka学习笔记
阿坨的博客
09-29 1001
kafka安装 环境要求：需要安装zookeeper、java1.7以上。 下载kafka 注意：到Kafka官网下载安装文件时，一定要选择和自己电脑上已经安装的scala版本号一致才可以。本笔记安装的scala版本号是2.11.16，所以，一定要选择Kafka版本号是2.11开头的。比如，到Kafka官网中，可以下载安装文件Kafka_2.11-2.2.1，前面的2.11就是支持的scala版本号，后面的2.2.1是Kafka自身的版本号。 解压安装包 sudo tar -zxvf kafka_2.11-
ClickHouse Kafka表引擎使用详解
upupfeng的博客
05-15 1万+
前言 项目采用Flink、Kafka、Clickhouse的实时数仓架构，数据由Kafka接入，经过Flink处理，写入Clickhouse。 初期直接由Flink写入Clickhouse，经常会出现分区太多合并不来等意外情况，效果不是很好。而且数据也需要共享到其他地方，故直接写入CK对我们来说不是很好的选择。 于是先将数据写入Kafka，之后由Kafka对数据进行分发。 从Kafka写入CK有很多种方法： 使用Flink Connector 使用github上开源的kafka ck组件 使用CK的Kaf
Kafka bootstrap.server is not a recognized option
SmartSi
08-24 2698
在执行 kafka-console-consumer.sh 命令时抛出 bootstrap.server is not a recognized option 异常
kafka 创建消费者报错 consumer zookeeper is not a recognized option
热门推荐
csdn_sunlighting的博客
08-08 4万+
在做kafka测试的时候，使用命令bin/kafka-console-consumer.sh --zookeeper 192.168.0.140:2181,192.168.0.141:2181 --topic test --from-beginning启动消费者，发现一只报错consumer zookeeper is not a recognized option，搜索了半天，一只没有解决，最后，...
免安装Kafka连接工具：一积分下载绿色版
3. Kafka: Kafka是由LinkedIn开发的一个分布式流处理平台，主要用于构建实时数据管道和流应用程序。它具有高性能、高可伸缩性和高可靠性等优点。Kafka广泛应用于日志聚合、事件源、网站活动跟踪、运营指标和日志、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值