kafka

原创 已于 2023-03-04 23:01:59 修改 · 2.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka

于 2023-03-04 22:20:45 首次发布
本文详细介绍了如何安装JDK，下载并启动Zookeeper，以及修改Kafka的配置文件启动服务。接着，演示了在Zookeeper中创建Kafkatopic，以及创建生产者和消费者进行数据交互的过程。然而，遇到一个问题，即在使用命令创建生产者时出现了中文乱码。

  1. 安装jdk;

  1. 下载zookeepe并启动；

下载地址：

https://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz

将conf目录下的zoo_sample.cfg复制一份重命名为zoo.cfg。

启动：

  1. 下载kafka并启动；

下载地址：

https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz

修改server.properties配置文件

启动：

  1. 创建一个topic;

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic myTopicName

查看topic

kafka-topics.bat --list --zookeeper localhost:2181

  1. 创建生产者

kafka-console-producer.bat --broker-list localhost:9092 --topic myTopicName

  1. 创建消费者

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic myTopicName

待解决：第四条消息，中文乱码了

SpringBoot集成kafka全面实战
Felix
03-28 20万+
本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 二、消费者实践 简单消费 指定topic、partition、offset消费 ...
Kafka （快速）安装部署
m0_62943934的博客
09-08 2万+
进行下载，Scala 2.12 和 Scala 2.13 主要是使用Scala编译的版本不同，两者皆可。接下来我们还需要在每个 zookeeper 节点的数据目录下创建对应的服务id文件与上面配置的。针对每个节点修改主机名称，查看当前主机的ip地址并固定，添加子网掩码，网关，DNS1。Kafka一般情况下都是分布式架构的，单机节点的使用情况基本不存在——了解即可。当然，也可以只安装并配置一台zookeeper，然后将整个软件拷贝过去。环境变量，以及将$ZK_HOME/bin文件夹加入PATH环境变量中。
【Kafka】Windows下安装Kafka（图文记录详细步骤）
tttzzzqqq2018的博客
08-06 7万+
(一)、Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 (二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
kafka常用命令
zhangmuqiang的博客
07-05 1万+
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
Kafka的基本使用
m0_37559973的博客
11-10 5721
Apache Kafka是一个开源分布式事件流平台，也是一种高吞吐量的分布式发布订阅消息系统，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。
Kafka 副本
02-11 3万+
follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉（HW之前每个节点都有，故安全），从HW开始向leader进行同步。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉，然后从新的leader同步数据。HW：指的是消费者能见到的最大的offset，ISR队列中最小的LEO。
Kafka介绍、安装以及操作
Libra_97的博客
05-01 3923
Kafka介绍、安装和操作
Kafka 安装教程和基本操作
一念之间 一心向阳
05-23 5275
Kafka安装教程和基本操作
Docker部署Kafka
weixin_62799021的博客
10-28 4964
为实现备份功能，保证某个节点发生故障时，该节点上的分区（Partition）数据不会丢失，且Kafka集群仍然能够继续工作。Kafka是一个开源的时间流处理平台，由Scala和Java编写，持久化本质是分布式事务日志架构的大规模发布订阅。ADVERTISED_LISTENERS必须设置外部连接Kafka broker的地址，本机开发设置为。Leader副本发生故障时，某个Follower副本会成为新的Leader副本，设置副本数量不能为0，也不能大于节点个数，否则不能创建Topic。
kafka tools kafka连接工具3.0.3
06-20
offsetexplorer是kafka可视化工具，但是直接下载速度很慢，提供资源直接下载
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...
大数据kafak必备可视化工具-kafka2.0.7
03-14
你是否还在为每次查看Kafka数据而反复敲打命令行感到疲惫？是否期待有一款简单直观的工具，能够让你一目了然地掌握Kafka的运行状态和数据流动？那么，恭喜你，你的期待已经成为现实！ 我们隆重推出的大数据Kafka...
kafka Windows 客户端
05-16
kafka Windows 客户端
看完这篇Kafka，你也许就会了Kafka
热门推荐
AaronCao
01-13 19万+
Kafka学习 文章目录Kafka学习1. Kafka简介1.1 Kafka消费模式1.2 Kafka的基础架构1.3 Kafka的安装和使用2. Kafka高级2.1 工作流程2.2 文件存储2.3 生产者分区策略2.4 生产者ISR2.4.1 副本数据同步策略2.4.2 ISR(同步副本集)2.5 生产者ack机制2.6 数据一致性问题2.7 ExactlyOnce3. 消费者分区分配策略3.1 分区分配策略3.2 消费者offset的存储3.3 消费者组案例4. 高效读写&Zookeeper作
KafkaMQ采集指标日志
最新发布
zje1110的博客
11-24 561
通过观测云DataKit智能采集KafkaMQ消息队列，成功将分散的IoT设备数据实时转化为可视化指标。该实践通过多维度关联分析（如关联设备状态日志、指标），构建起从数据采集、传输到业务处理的全链路监控体系。运维团队得以在统一平台快速定位消息阻塞、消费者异常等隐患，使Kafka集群运维效率得到大幅提升，业务链路可观测性实现从“黑盒”到“透明化”的跨越式升级。
腾讯音乐如何基于 AutoMQ 降低 Kafka 50%+ 成本
AutoMQ的博客
11-21 1083
腾讯音乐娱乐集团是中国在线音乐娱乐服务开拓者，提供在线音乐和以音乐为核心的社交娱乐两大服务。腾讯音乐娱乐在中国有着广泛的用户基础，拥有目前国内市场知名的移动音频产品：QQ 音乐、酷狗音乐、酷我音乐、全民 K 歌、懒人听书等产品。
RocketMQ 为什么性能不如 Kafka？
2301_81205080的博客
11-23 757
本文介绍了kafka性能好的原因
Java高性能微服务异步通信与Kafka/RabbitMQ实战分享：分布式消息优化与系统解耦经验
2501_94114950的博客
11-23 185
异步消息队列解耦微服务，提高系统可扩展性批量异步发送与合理分区提升吞吐量多线程消费者与手动提交 Offset保证消息可靠性压缩消息与监控告警优化性能与稳定性事件驱动与幂等处理保证业务正确性Java 结合 Kafka 或 RabbitMQ，通过高性能异步通信、批量优化和监控告警，为微服务系统提供了可靠、高效且可扩展的消息处理方案。
kAFKA
11-11
### Kafka入门教程及使用场景 #### 一、Kafka简介 Apache Kafka 是一种分布式流处理平台，能够实现高吞吐量的消息传递系统。它最初由 LinkedIn 开发并开源，现已成为 Apache 软件基金会的一部分[^1]。 #### 二、Kafka的安装与配置 以下是基于 Docker 的 Kafka 安装方法： ```yaml version: "1" services: kafka: image: 'bitnami/kafka:latest' hostname: kafka ports: - 9092:9092 - 9093:9093 volumes: - 'D:\Docker\Kafka\data:/bitnami/kafka' networks: - kafka_net environment: # KRaft settings - KAFKA_CFG_NODE_ID=0 - KAFKA_CFG_PROCESS_ROLES=controller,broker - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093 # Listeners - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.51:9092 - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=PLAINTEXT networks: kafka_net: driver: bridge ``` 运行命令如下： ```bash docker-compose -f .\docker-compose.yml up -d ``` 上述 YAML 文件定义了一个简单的 Kafka 集群环境，并通过 `docker-compose` 启动服务[^1]。 #### 三、Kafka的基础概念 在 Kafka 中，消息被存储在主题（Topic）中，而每个 Topic 又分为若干分区（Partition）。每个分区有一个 Leader 和零个或多个 Follower。Leader 负责读写操作，Follower 则同步数据以提供冗余支持。当创建一个新的 Topic 时，Kafka 自动将 Partition 的 Leader 均匀分布到各个 Broker 上，从而提高系统的可靠性和性能[^2]。 #### 四、可视化管理工具 Offset Explorer 是一款常用的 Kafka 数据管理和监控工具，可以帮助开发者更直观地查看和分析 Kafka 主题中的偏移量和其他元数据信息[^1]。 #### 五、Kafka的主要使用场景 1. **日志收集**：Kafka 可用于集中式日志采集方案，实时捕获来自不同服务器的日志文件。 2. **消息队列**：作为传统 MQ 替代品，Kafka 提供高性能异步通信机制。 3. **活动跟踪**：记录用户的在线行为轨迹，便于后续数据分析挖掘价值。 4. **指标监测**：构建企业级运营状态仪表盘，展示关键业务指标变化趋势。 5. **ETL流程优化**：连接多种数据库之间复杂的数据转换过程，提升效率减少延迟。 #### 六、总结 通过对 Kafka 的基本原理理解及其实际应用场景探讨，可以更好地掌握如何利用这一强大技术解决现实世界中的挑战性问题。 问题
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值