Kafka学习（001 简介和安装）

Kafka3.x入门与调优教程：从Hadoop前置到实战部署,
最新推荐文章于 2025-12-06 08:21:57 发布
原创 最新推荐文章于 2025-12-06 08:21:57 发布 · 72 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #学习 #分布式

本文详细介绍了Kafka3.x的基础知识、消息队列模式、架构、生产者消费者配置以及与Hadoop的集成。从安装到配置，包括快速入门步骤和数据管理，适合对Kafka感兴趣的读者。

【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）

总时长 12:31:00 共96

此文章包含第1p-第p6的内容

这里需要Hadoop的前置知识

简介

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

定义

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

分主题进行订阅 消费者自己选择自己需要的主题进行接收 速度按自己的来
在这里插入图片描述

在这里插入图片描述

消息队列

在这里插入图片描述

异步，解耦，削峰
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

消息队列的两种模式

在这里插入图片描述
在这里插入图片描述

不删除 后期kafka/消息队列会自己主动 控制什么时候进行删除
在这里插入图片描述
在这里插入图片描述

一般都使用发布订阅模式
在这里插入图片描述

基础架构

在这里插入图片描述
在这里插入图片描述

数据太多 一台服务器一般也就8T到96T 放不下100T的数据

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

一个分区的数据由一个消费者来消费
同一个消费组，不允许消费同一个分区
在这里插入图片描述
加副本
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
2.8.0之后逐渐抛弃zookeeper 改用Kraft 但是两种都可以
在这里插入图片描述

快速入门

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
解压
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
生产者 主题 消费者 三个框
在这里插入图片描述
配置信息
在这里插入图片描述

在这里插入图片描述

libs 第三方jar包
在这里插入图片描述

配置server.properties
  • 唯一标识

在这里插入图片描述

  • 存储kafka对应的数据的地方
    在这里插入图片描述
    在这里插入图片描述
  • zookeeper的端口
    在这里插入图片描述
    也就是说不同的集群就一个目录就行了
    不学hadoop的可以先去hadoop教程搭个环境再回来，没多久！
    在这里插入图片描述

分发kafka
xsync kafka
xsync 是之前写的脚本 对其他两个服务器进行分发
在这里插入图片描述
分发完给另外两个服务器的这个文件进行修改id
在这里插入图片描述

修改环境变量
在这里插入图片描述

在这里插入图片描述

这个脚本是Hadoop时写的
在这里插入图片描述

在这里插入图片描述

source
在这里插入图片描述
在这里插入图片描述

大数据学习之路113-Pulsar详细指南(从安装到使用包括与Kafka的对比及使用总结)
爱米酱的博客
08-03 3358
1. Pulsar简介 1.1 什么是Pulsar？ Apache Pulsar是一种类似于Kafka的消息中间件，是一个支持多租户的、高性能的服务与服务之间消息通讯的解决方案。 1.2 Pulsar的特性 Pulsar之所以能够称为下一代消息队列，主要是因为以下特性： 线性扩展，能够扩容到成百上千个节点，扩展性强 高吞吐，已经在Yahoo的生产环境中经受了考验，每秒数百万消息 低延迟，在大规模的消息量下依然可以保持低延迟(<5ms) 持久化机制，Pulsar的持久化机...
字节跳动2024校招后端开发面试题大全（含解题思路）
AI天才研究院
10-22 1843
字节跳动2024校招后端开发面试题大全（含解题思路） 关键词：字节跳动、校招、后端开发、面试题、解题思路 摘要：本文将围绕字节跳动2024校招后端开发
windows下安装kafka
晨港飞燕的专栏
05-02 2万+
一.下载 kafka官网下载地址:http://kafka.apache.org/downloads.html,下载二进制的. 二.安装 1.安装zookeeper windows环境下安装zookeeper(单机版) 安装并启动后的界面: 2.安装kafka 我下载的kafka_2.13-2.8.0.tgz,并解压到D:\Tools\kafka_2.13-2.8.0目录下 编辑文件Kafka配置文件， D:\Tools\kafka_2.13-2.8.0\config\server.
Kafka详解(包括kafka集群搭建)
wudidahuanggua的博客
09-29 7万+
对kafka细致的解析，从理论到集群搭建实战
D012 复制粘贴玩大数据之Dockerfile安装Kafka集群
邵奈一的博客
03-12 1009
0x00 教程内容 0x01 Dockerfile文件的编写 1. 编写Dockerfile文件 2. 编写Dockerfile文件的关键点 3. 完整的Dockerfile文件参考 0x02 校验Kafka前准备工作 1. 环境及资源准备 0x03 校验Kafka是否安装成功 1. 修改生成容器脚本 2. 生成镜像 3. 生成容器 4. 启动Kafka 0xFF 总结
Spark的安装
2301_77483514的博客
05-05 334
下载并安装PicGo，在PicGo中配置Gitee图床插件，填写仓库地址、分支名和个人令牌(Token)，测试上传图片至Gitee图床。通过本文档的学习，我了解了如何安装和配置Spark，并掌握了其核心组件的基本使用方法。在gitee创建私有仓库时，我误点了"Initialize with README"，结果PicGo一直无法上传图片，后来发现必须保持仓库为空。首先注册并登录Gitee，然后创建一个新的仓库用于存放图片资源，最后配置仓库为公开访问权限以便于直接引用图片链接。
SpringCloud Alibaba 学习
awxnn的博客
03-05 1911
Spring Cloud Alibaba 致力于提供微服务开发的一站式解决方案。此项目包含开发分布式应用微服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。依托 Spring Cloud Alibaba，您只需要添加一些注解和少量配置，就可以将 Spring Cloud 应用接入阿里微服务解决方案，通过阿里中间件来迅速搭建分布式应用系统。
RocketMQ安装和整合(Linux环境)
m0_49353216的博客
12-01 649
消息队列中间件是分布式系统中的重要组件，主要解决应用耦合、流量削峰等问题，目前主流的 MQ 主要是：RocketMQ、kafka、RabbitMQ等。支持事务型消息（消息发送和 DB 操作保持两方的最终一致性，RabbitMQ 和 Kafka 不支持）支持结合 RocketMQ 的多个系统之间数据最终一致性（多方事务，二方事务是前提）支持 18 个级别的延迟消息（Kafka 不支持）支持指定次数和时间间隔的失败消息重发（Kafka 不支持，RabbitMQ 需要手动确认）
学习IO由浅入深
weixin_45985053的博客
07-19 340
应用进程调用accept()时，触发系统把数据从网卡缓冲区复制到内核空间，再从内核空间复制到用户空间，如果这个过程中，数据没有准备好，到数据返回或发生错误返回之前，用户进程一直处于阻塞状态，这个就是阻塞IO。将创建InputStream写入到try()中，可以帮我们实现close()关闭流的操作，这个close中包含了buffred的flush操作，如果没有关闭流，又没有手动flush()，将会丢失数据。关于序列化和反序列化这个问题，我在18年参加工作的时候，遇到过一个项目，之后就再没有用过了。...
1、利用 Spark 开发智能机器学习系统
j0k1l2m3n的博客
08-30 30
本文深入介绍了如何利用Apache Spark构建智能机器学习系统。内容涵盖Spark的核心优势、环境搭建、编程模型（如RDD、DataFrame）、支持的机器学习算法及其实现，包括分类、回归、聚类和推荐系统等。同时探讨了数据预处理、特征工程、模型评估与优化，并详细讲解了Spark在批处理与实时流处理中的应用，结合Spark ML管道API实现高效建模流程。适合数据科学家和工程师系统掌握基于Spark的大规模机器学习开发方法。
【Sqoop实时数据导入指南】：与Kafka整合构建数据流通道
Sqoop是一款用于在Hadoop和关系型数据库之间传输数据的工具，它能够将一个大型的数据库导入到Hadoop的HDFS中，并能将数据从HDFS导出到外部的数据库中。 在本章节中，我们将详细分析实时数据导入的需求背景。首先，
【愚公系列】《AIGC辅助软件开发》011-AI辅助编写技术文档：技术文档
热门推荐
时光隧道
07-24 9万+
在当今快速发展的技术环境中，技术文档的编写变得愈加重要。无论是软件开发、产品设计，还是系统架构，清晰、准确的技术文档不仅能帮助团队成员快速理解项目，还能为用户提供必要的使用指导。然而，编写高质量的技术文档常常是一项繁琐且耗时的任务。随着人工智能技术的不断进步，AI工具的辅助作用逐渐显现，特别是在技术文档的编写过程中。借助AI，开发者和技术作家可以更高效地生成、编辑和维护文档，从而专注于更高层次的创作和思考。
5.Kafka-HW重要特性与场景分析
zhuzhu_YT的博客
12-05 611
Kafka的HW机制通过维护高水位线(HW)确保数据一致性和可靠性。关键特性包括：1)所有副本仅提供HW之前的数据读取；2)HW标记已提交消息，防止数据丢失；3)作为副本同步进度指标。典型场景分析显示，当Leader宕机时，新Leader会截断到HW位置；Follower重启时会从HW开始同步。核心配置参数如replica.lag.time.max.ms和min.insync.replicas直接影响HW推进和数据可靠性。监控指标包括副本滞后情况和LEO/HW值，确保系统稳定运行。该机制有效平衡了数据一致性
flink从kafka读取数据
最新发布
2301_80954266的博客
12-06 333
好的，我们来讲解如何在 Apache Flink 中从 Apache Kafka 读取数据。这是构建实时流处理应用的一个常见场景。
Kafka：消费者重试与死信队列的对应模式分析
m0_69632475的博客
12-04 726
适用场景：核心业务（如订单支付），需明确死信 Topic 名称并隔离存储。配置要点自定义（如-order-dlq通过容器工厂隔离不同业务的重试策略。代码示例// 订单消费者容器工厂（自定义重试+死信）@Bean// 自定义死信发布器（指定死信 Topic 后缀为 "-order-dlq"）// 重试策略：4次尝试（1+3），指数退避（1s→2s→4s）recoverer,new ExponentialBackOff(1000L, 2) // 初始1s，乘数2。
java 实现 flink 读 kafka 写 paimon
luohualiushui1的专栏
12-03 471
java 实现 flink 读 kafka 写 paimon
4.Kafka-LEO+HW的定义与特性+工作流程
zhuzhu_YT的博客
12-05 985
Kafka的LEO（日志末端偏移量）和HW（高水位线）是保证数据一致性的关键机制。LEO表示副本当前写入位置，每个副本独立维护；HW则是所有ISR副本中最小LEO，代表已安全提交的消息边界。工作流程中，Leader先写入新消息并更新LEO，待所有ISR副本同步后才提升HW，确保只有被完整复制的消息才对消费者可见。HW的计算遵循min(ISR_LEO)原则，这种机制有效防止了数据丢失，同时控制消息的可见性。
java 实现 flink 读 kafka 写 iceberg
luohualiushui1的专栏
12-03 836
java 实现 flink 读 kafka 写 iceberg
Kafka副本管理深度剖析：从同步失败到自动恢复的完整生命线
喜欢炒股的码农
12-05 901
Kafka副本同步故障分析与自动恢复机制 本文深入剖析了Kafka副本管理机制及其故障处理流程。主要内容包括： 副本架构：揭示Kafka分区副本的组成（Leader/Follower）、角色分工及资源限制，说明ISR是保证数据一致性的关键 同步故障分析：通过offset=101的案例，展示单个消息失败如何导致连锁阻塞，解释Kafka严格按顺序提交的机制 自动恢复机制：详细解析ISR动态调整过程，包括副本健康检查、自动移除落后副本等自愈功能 决策场景：说明系统在ISR收缩后如何根据min.insync.rep
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值