Kafka quick start (Mac指令)

已于 2022-09-14 21:12:59 修改
阅读量275 收藏
点赞数
分类专栏： kafka 文章标签： kafka macos 分布式
于 2022-02-04 21:12:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45829957/article/details/122785792
版权
本文档详细介绍了Apache Kafka的安装步骤，包括从官方网站下载推荐版本，修改配置文件如zookeeper.properties和server.properties，以及如何启动和关闭Kafka和Zookeeper服务器。此外，还展示了创建和管理主题、使用生产者和消费者发送与接收消息的操作流程，为初学者提供了清晰的指引。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.安装软件

官网链接
点击上述链接
在这里插入图片描述
选择上述推荐版本下载
在这里插入图片描述
选择推荐链接下载即可

2.修改配置文件

找到zookeeper.properties和server.properties
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
分别改成本机存放日志信息的目录即可

3.简单实用

官方笔记点击下述链接
官方网址

下面是我的使用操作

  • 存放路径（看自己情况）
cd /Volumes/software/kafka_2.13-3.1.0
  • mac运行路径（看自己的情况）
/Volumes/software/kafka_2.13-3.1.0/bin
  • 启动服务器 （先启动zookeeper服务器，再启动kafka） ！！！千万不要手动暴力关闭，用下面的命令关闭
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties
  • 创建主题
kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1  --topic test
  • 查看当前服务器的主题
	
kafka-topics.sh --list --bootstrap-server localhost:9092
  • 创建生产者，往指定主题上发消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test
  • 消费者
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  • 关闭zookeeper服务器
zookeeper-server-stop.sh
  • 关闭kafka服务器
kafka-server-stop.sh

后台启动方法

[root@VM-16-10-centos kafka_2.13-3.1.0]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 

[root@VM-16-10-centos kafka_2.13-3.1.0]# nohup bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &
JUC并行计算框架 Fork/Join 原理图文详解&代码示例
AI天才研究院
05-03 9238
关键词：divide and conquer algorithm，work-stealing，WorkQueue ForkJoinPool 是什么？ ForkJoinPool 是 JDK 7 中，@author Doug Lea 加入的一个线程池类。Fork/Join 框架的核心原理就是分治算法（Divide-and-Conquer）和工作窃取算法（work-stealing algorithm）...
Neo4j 是一种流行的图数据库，提供了多种方式进行数据访问
BLOG域名:programb.blog.youkuaiyun.com
04-30 529
在使用Neo4j访问数据时，通常会涉及到连接数据库、创建查询语句以及处理查询结果等步骤。下面将从不同编程语言（Python和Java）角度介绍如何访问Neo4j数据库中的数据。
Kafka之server.properties配置文件详解
夏天小厨的博客
11-29 9924
我们在搭建kafka集群时，根据业务目标不一样，对配置文件的修改补充也会有一些不同。在查看kafka的config目录之后，发现里面有很多的配置文件，但正在需要修改的有1、producer.properties:生产端的配置文件；2、consumer.properties:消费端的配置文件；3、server.properties:服务端的配置文件。其中最为重要的应该属于服务端的配置文件。这里，小厨...
windowsKAFKA创建TOPIC
qq_44054827的博客
12-24 1609
进入KAFKA/BIN/WIONDOWS 创建topic kafka-topics.bat --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic "test" 创建生产者 kafka-console-producer.bat --broker-list localhost:9092 --t...
Kafka 主题的分布情况
最新发布
喝醉酒的小白
04-23 274
主题的分布情况通常包括分区数量、副本分布、消费者组的订阅关系及消费进度等信息，这些信息可以帮助我们了解主题在 Kafka 集群中的存储和消费状况，以便进行合理的管理和优化。
Kafka学习整理六(server.properties配置实践)
热门推荐
LOUISLIAOXH的专栏
06-02 2万+
Kafka的server.properties配置实践
Kafka server.properties 详细配置总结
AlwaysBeta 的专栏
01-24 990
技术博客： https://github.com/yongxinz/tech-blog 同时，也欢迎关注我的微信公众号 AlwaysBeta，更多精彩内容等你来。 如下为详细的 server.properties 参数配置，可根据真实业务场景来选择需要使用。 ############################# System ############################# #唯...
02-Kafka之server.properties核心配置详解
qq_39234967的博客
08-21 4783
三、zookeeper相关配置。一、Broker相关配置。二、Topic相关配置。
使用scrapy cluster构建企业级爬虫系统——（2）实现网站深度抓取
u011423145的博客
07-25 591
上回博客中，我们对scrapy cluster进行了介绍，今天我们来搭建scrapy cluster的开发环境。 这里我使用的开发机环境是Ubuntu 18.04。大家日常如果使用windows开发时候，最好把zookeeper,kafka,redis安装在linux开发服务器上，避免一些不必要的坑。 我们先看下scrapy cluster的文档结构： 整体部分包括Introductio...
大数据技术之高频面试题
XIAOMO__的博客
11-12 1万+
第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .
springcloud全流程一篇入门
weixin_42075258的博客
06-06 3350
springcloud_2021-1-24 文章目录springcloud_2021-1-24微服务微服务架构优势springcloud 架构分类一、Spring Cloud Netflix 和Spring Cloud alibaba服务技术架构比较二、重点介绍Spring Cloud alibaba微服务一站式解决方案三、Spring Cloud alibaba 技术架构四、Spring Cloud alibaba 主要功能及对应组件spring cloud框架介绍什么是Spring BootSpring
Kafka配置文件 - server.properties
清风ai明月的专栏
08-29 1152
我安装的kafka版本为3.8.0config目录下的配置文件server.properties。
Kafka 实战 - 集群配置参数server.properties
qq_33240556的博客
04-13 807
在 Apache Kafka 集群中，文件是 Broker 级别的配置文件，包含了 Broker 的各种核心配置参数。以下是一些重要的。
kafka的server.properties配置参数说明
u013367040的博客
05-29 3673
kafka的server.properties配置参数说明broker.idlistenersadvertised.listenerslog.dirszookeeper.connect broker.id 在Kafka集群中，每个broker都有一个唯一的id值用来区分彼此。Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个与当前broker的id为名称的虚节点，Kafka的健康状态检查就依赖于此节点。当broker下线时，该虚节点会自动删除，其他broker或者客户端通过判断
Kafka主要参数详解（转）
huiy的专栏
02-24 817
原文档地址：[url]http://kafka.apache.org/documentation.html[/url] [code="java"]############################# System ############################# #唯一标识在集群中的ID，要求是正数。 broker.id=0 #服务端口，默认9092 port=909...
kafka配置文件server.properties
lihaooye的博客
09-10 1947
broker.id=0 host.name=192.168.2.232 port=9092 num.network.threads=3 num.io.threads=8 log.dirs=/opt/kafka/logs socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 num.partitions=64 log.retention.hours=72 .
kafka配置文件详解之：server.properties
liuhehe的博客
11-18 398
#每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 broker.id=0 #broker server服务端口 port =9092 #处理网络请求的线程数量 num.network.threads=2 #broker处理磁盘IO的线程数，数值应该大于你的硬盘 num.io....
kafka_2.11-2.0.0集群配置server.properties
zhanghe687的博客
10-20 727
kafka_2.11-2.0.0集群配置server.properties
kafka的配置文件参数（server.properties）
MssGuo的博客
10-21 2596
【代码】kafka的配置文件参数（server.properties）
使用Kafka涉及到的指令代码有哪些
09-15
Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用程序。使用 Kafka 涉及的指令代码通常包括以下几个方面： 1. 启动和停止Kafka服务： - `bin/zookeeper-server-start.sh config/zookeeper.properties`：启动Zookeeper服务。 - `bin/zookeeper-server-stop.sh`：停止Zookeeper服务。 - `bin/kafka-server-start.sh config/server.properties`：启动Kafka服务。 - `bin/kafka-server-stop.sh`：停止Kafka服务。 2. 创建和管理主题： - `bin/kafka-topics.sh --create --topic [topic_name] --partitions [num_partitions] --replication-factor [replication_factor] --zookeeper [zookeeper_host:port]`：创建一个新的主题。 - `bin/kafka-topics.sh --describe --topic [topic_name] --zookeeper [zookeeper_host:port]`：查看主题的详细信息。 - `bin/kafka-topics.sh --delete --topic [topic_name] --zookeeper [zookeeper_host:port]`：删除一个主题。 3. 生产者和消费者操作： - 生产者发送消息： ```bash bin/kafka-console-producer.sh --broker-list [broker_host:port] --topic [topic_name] ``` - 消费者读取消息： ```bash bin/kafka-console-consumer.sh --bootstrap-server [broker_host:port] --topic [topic_name] --from-beginning ``` 4. 查看和管理消费者组： - `bin/kafka-consumer-groups.sh --bootstrap-server [broker_host:port] --list`：列出所有消费者组。 - `bin/kafka-consumer-groups.sh --bootstrap-server [broker_host:port] --group [group_id] --describe`：显示消费者组的详细信息。 5. 查看日志文件： - `bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list [broker_host:port] --topic [topic_name]`：获取指定主题的分区偏移量。 这些是在使用 Kafka 时可能会用到的一些基础指令。具体使用时，还需要根据实际的 Kafka 集群配置和需求来调整参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只猪的思考

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值