Kafka学习（一）——0.10.2.0版本基础知识，java简单的demo

最新推荐文章于 2023-03-21 18:21:38 发布
原创 最新推荐文章于 2023-03-21 18:21:38 发布 · 535 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka-消息发布与订阅 #消息队列 #kafka-java

本文档记录了Kafka 0.10.2.0的基础学习，包括在CentOS 7上安装JDK和Kafka，启动Zookeeper和Kafka服务器，创建及查看topics，使用Java API编写生产者和消费者示例，展示了消息的序列化和反序列化过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近开始学习Kafka。简单的记录一下学习过程。

首先本地虚拟机安装centos 7。
请参考另一篇文章。（稍后补上）

安装jdk
这里下载了 jdk-7u71-linux-x64.rpm
安装后java -version已经成功，不过还是习惯性的配置了一下
JAVA_HOME=/usr/java/jdk1.7.0_71
JRE_HOME=/usr/java/jdk1.7.0_71/jre
PATH= JAVAHOME/bin: JRE_HOME/bin
CLASSPATH=.: JAVAHOM

最低0.47元/天 解锁文章

200万优质内容无限畅学
kafka学习 从基础到高阶
andy的博客
11-07 376
1.5 Kafka 1.5.1 Kafka架构 生产者、Broker、消费者、ZK； 注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。 1.5.2 Kafka的机器数量 Kafka机器数量 = 2 *（峰值生产速度 * 副本数 / 100）+ 1 1.5.3 副本数设定 一般我们设置成2个或3个，很多企业设置为2个。 副本的优势：提高可靠性；副本劣势：增加了网络IO传输 1.5.4 Kafka压测 Kafka官方自带压力测试脚本（
Kafka
小道的博客
11-23 2272
Kafka知识点汇总
kafka_2.10-0.10.2.0.zip
08-02
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
Kafka0.10.2.0分布式集群安装
an7800666的博客
04-10 213
一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文：http://www.cnblogs.com/liugh/p/6624491.html 1.3 Zookeeper 参见博文：http:/...
Kafka-2.11-0.10.2.0的安装
孙大圣的博客
06-04 1832
安装环境： centos7 hadoop-2.7.3 zookeeper-3.4.10 kafka-2.11-0.10.2.0 在node1, node2, node3节点上安装 安装kafka之前必须安装zookeeper，如果没有安装zookeeper详细见https://blog.csdn.net/qq_43605654/article/details/90750416 一...
kafka-2.12-0.10.2.0文件安装包
03-20
kafka_2.12-0.10.2.0文件安装包：支持安装部署到windows服务器，目前下载的是最新版本，官网下载太慢，就贡献出来了
kafka-0.10.2.2集群搭建
u012374672的专栏
09-23 547
1.部署规划： 服务器ip tcp链接端口 192.168.1.111 9092 192.168.1.112 9092 192.168.1.113 9092 2.前提条件： 各服务器开放端口(9092)，或防火墙关闭。 各服务器添加主机名，能互相ping通： 192.168.1.111 linux1 192.168.1.112 linux2 192.168.1.11...
大数据最佳实践-kafka
program哲学
04-16 6528
kafka各个重难点大全，超详细
Kafka介绍及环境搭建
阳光奶爸的博客
09-13 1890
消息队列组件kafka入门知识学习及环境搭建
kafka0.10.2.0.-src.tgz源码编译出现问题
tanghuan0827的博客
04-30 780
问题一 修改 org.scoverage:gradle-scoverage 的版本号： dependencies { // For Apache Rat plugin to ignore non-Git files classpath "org.ajoberstar:grgit:1.7.0" classpath 'com.github.ben-manes:gradle-...
Kafka创建Topic（API方式）
chouzhunle5574的博客
05-19 1742
Kafka官方提供了两个脚本来管理topic，包括topic的增删改查。其中kafka-topics.sh负责topic的创建与删除；kafka-configs.sh脚本负责topic的修改和查询，但很多用户都更加倾向于使用程序API的方式对topic进行操作。 上一篇文章中...
kafka 0.10.2版本常用命令使用示例
学亮编程手记
03-21 314
以上是一些常用的 Kafka 0.10.2 版本命令示例。
kafka 0.10 client使用例子
xhpscdx的专栏
07-28 6684
一.前言 在理解本篇内容前请先读kafka特征介绍。 由于个人理解有限，在遇到特殊问题时请参考kafka官方文档。欢迎指出本篇内容的错误。 本篇内容会持续更新，请关注。 二.topic,group规范 为增强topic,group名称所代表的含义，约定如下规则： topic的名称里只体现生产者。定义：环境_生产者_业务含义。例如：prod_sync_order_snapshot. 每个group代表
【kafka】生产者
baidu_30130783的博客
10-15 292
Kafka 的 Producer发送消息采用的是异步发送的方式。 在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个共享变量——RecordAccumulator。 main 线程将消息发送给 RecordAccumulator， Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。 /** ...
kafka 概述
weixin_43931625的博客
10-21 629
kafka概述 ******************************** 基本概念 kafka架构包含若干zookeeper、broker、producer、consumer，各节点的作用如下： zookeeper：存储集群的元数据并负责对其进行管理，选举broker控制器等； broker：存储消息，由broker控制器向zookeeper上传集...
Kafka版本升级 ( 0.10.0 -> 0.10.2 )
weixin_34221276的博客
03-09 312
升级Kafka集群的版本其实很简单，核心步骤只需要4步，但是我们需要在升级的过程中确保每一步操作都不会“打扰”到producer和consumer的正常运转。为此，笔者在本机搭了一个测试环境进行实际的版本升级实验。在开始之前，简要介绍一下测试环境的部署情况及目标：Kafka 0.10.0.0 双broker测试环境，而目标是把该集群升级到0.10.2版本   两个broker启动时分别读取ser...
8--安装kafka_2.10-0.10.2.0集群（三个节点）
sunspeedzy的博客
08-12 978
1. tar –zxvf kafka_2.10-0.10.0.1.tgz 2. 配置(config/server.properties) 1) master 节点上 broker.id=0 zookeeper.connect=master:2181 listeners=PLAINTEXT://master:9092 advertised.listeners=PLAINTEXT:
Kafka 0.10.2<auto.offset.reset和enable.auto.commit>
热门推荐
Gpwner的博客
07-06 1万+
温故而知新，重新复习一下Kafka的这两个参数 这个两个参数官网也有介绍，不过来自己实践一遍才能更好地理解 https://kafka.apache.org/0102/documentation.html 1.Kafka tool先介绍一个这个工具http://www.kafkatool.com/ 这个东西可以很直观地看出Kafka的各个维度地信息 还能看到消费者的消费offsetstar
Java代码操作Kafka
凉茶铺的博客
12-04 2128
介绍了使用JavaAPI以及SpringBoot方式操作kafka
Linux环境下kafka_2.10-0.10.2.0安装指南
在这个上下文中，我们关注的是Kafka的一个具体版本：`kafka_2.10-0.10.2.0`。这个版本的Kafka是基于Scala 2.10构建的，且对应Apache Kafka的0.10.2.0版本。在介绍安装步骤前，先来了解这个版本中的一些关键特性： -...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值