3、初识 Kafka 及安装和启动

最新推荐文章于 2024-01-19 21:05:19 发布
原创 最新推荐文章于 2024-01-19 21:05:19 发布 · 368 阅读 · 0 ·
CC 4.0 BY-SA版权
文章发表1周内为内容优化高峰期，后续会根据认知迭代继续做完善补充。
文章标签：

#Kafka #Kafka 安装 #Kafka 启动

文章目录

·认识 Kafka

官网

Apache Kafka

基本介绍

Kafka®用于构建实时数据管道(pipelines)和流应用程序。它具有横向可扩展性、容错性、极快的速度，并在数千家公司的生产中运行。
(图片来自官网)
在这里插入图片描述

特性介绍

以下内容主要来自于官网

一个拥有三个主要能力的流媒体( streaming )平台：

  • 发布和订阅记录流，类似于消息队列或企业消息传递系统。
  • 以容错的(fault-tolerant)持久化方式存储记录流。
  • 可以对记录流进行实时处理。

Kafka 通用用于两大类应用：

  • 在多个系统或者应用之间建立实时的媒体流管道，以允许他们之间可靠地获取数据。
  • 创建实时的流媒体应用，以便于对流记录进行化或者其它操作。

几个概念

  • Kafka 以集群的形式运行，允许包含一个或者多个server,横跨多个数据中心。
  • Kafka 以 topics 的形式保存流记录。
  • 每一个记录由 key、value 和 时间戳组成。
四个主要的 API 接口
  • The Producer API：允许一个应用向一个或者多个 Kafka topics 一次性发送多个记录的流信息。
  • The Consumer API ：允许一个应用订阅一个或者多个topics 并且一次性处理由这些 topics 生产的多个记录的流信息。
  • The Streams API ：允许一个应用以一个 流处理器的身份，从一个或者多个 topics 中消费一个输入流，然后生产一个输出流到一个或多个输出 topics 中，可以有效的将输入流转化为输出流。
  • The Connector API：允许创建并运行可重复使用的，用以连接Kafka topics 和 已存的应用或数据系统的生产者和消费者。比如，一个与关系型数据库的连接可能捕获每一个表的变更。

·Kafka 的安装和启动

下载安装包

下载最新包
你也可以直接点击下载本版本kafka_2.12-2.3.0

解压

Kafka 快速安装和启动

这里提供了命令行模式，如果你是 Linux、Mac 操作系统可以按照这里操作

> tar -xzf kafka_2.12-2.3.0.tgz
> cd kafka_2.12-2.3.0
启动

需要说明的是，你本地需要先安装好 Zookeeper ，因为 Kafka 默认需要Zookeeper 的支持

Linux、Mac 环境

打开 Kafka 的安装目录

 bin/zookeeper-server-start.sh config/zookeeper.properties
 bin/kafka-server-start.sh config/server.properties
Windows 环境

打开Kafka 的安装目录运行下面的命令

.\bin\windows\kafka-server-start.bat .\config\server.properties
Kafka(1)-初识Kafka
黄金时代的架构之路
09-10 497
消息中间件的背景介绍 消息中间件能够解决的问题 异步 ​ 很多业务场景我们需要把同步的任务变成异步的任务。 ​ 拿一个电商平台的注册功能来简单分析下，用 户注册这一个服务，不单单只是insert一条数据到数据库里面就完事了，还需要发送激活邮件、发送新人红包或者积分、发送营销短信等一系列操作。假如说这里面的每一个操作，都需要消耗1s，那么整个注册过程就需要耗时4s才能响应给用户。 ​ 那么我们需要把这些操作拆出来，优化变成异步处理的逻辑。 我们可以使用阻塞队列+线程池来实现生产者消费者模式。 但是这种方
# Kafka_深入探秘者（1）：初识 kafka
段子手168的博客
06-23 2034
Kafka_深入探秘者（1）：初识 kafka 第1章 01-特性 第1章 02-概念详解 第1章 03-环境配置jdk、zookeeper 第1章 04-环境配置kafka 第1章 05-消息的生产与消费 第1章 06-java第一个程序001 第1章 07-java第一个程序002 第1章 08-优化与总结
Linux系统下Kafka的搭建与启动
Cc的博客
01-25 1112
这是我在优快云上写的第一篇文章，从今天开始准备记录一些自己日常开发中遇到的问题以及技术总结。 由于之前项目中用到了kafka中间件，自己也比较感兴趣，所以准备利用个人时间研究一下这个kafka，废话不多说，先来看看kafka的安装与搭建吧。 1.准备工作 Centos、JDK8、zookeeper，Kafka2.11 由于kafka的运行是需要jdk环境的，所以提前将jdk、zookeeper、kafka的安装包下载到本地，并通过scp上传到远程服务器。 以下是我准备的文件 1.1 JDK配置 修改/e
kafka常用命令
keeper的博客
02-28 436
启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties & 启动kafka bin/kafka-server-start.sh config/server.properties & 停止kafka bin/kafka-server-stop.sh 停止zookeeper bin
kafka常用命令的使用
weixin_38312719的博客
04-07 263
启动kafkabin/kafka-server-start.sh config/server.properties 使用afka-server-start脚本，指定配置文件启动
kafka命令及启动
热门推荐
HouYing
11-11 2万+
默认内网访问，要在外网访问的话，需要在修改config/server.properties中的配置 将listeners和advertised.listeners的值用主机名进行替换，在外用使用java进行生产者或消费者连接的时候，不填写具体的IP，填写安装kafka的主机名，然后，在hosts目录中，配置该主机名对应的真是IP地址即可； 以下命令都是摘抄与官网http://kafka.apache.org/quickstart 先启动zookeeper,默认自带的 bin/zookeeper-s
Kafka安装与部署
foreverKOOKV95的博客
10-11 816
Kafka分布式安装与部署 目录Kafka分布式安装与部署虚拟机配置解压缩配置环境变量配置文件在多个节点启动KAFKA命令kafka生产者消费者实例创建一个名为itcasttopic的主题，命令如下：创建成功后，就可以创建生产者生产消息创建消费者信息传送生产信息报错信息解决 运行kafka需要开启zookeeper zookeeper安装与部署 虚拟机配置 主机 ip master 192.168.68.12 slave1 192.168.68.13 slave2 192.168.6
初识Kafka集群概念与架构
# 1. Kafka概述 Kafka 是一个分布式流式数据处理平台，最初由LinkedIn开发，并于2011年开源。...Kafka 的核心架构由若干个 broker 组成，每个 broker 负责存储和管理数据的一部分，以实现数据的分布式存储和处理
kafka——(一)：初识kafka
王某的博客
06-09 1959
学习资源安利 官网1.1 ~2. Kafka 0.11.0中文文档【收费的】~ 还是apachecn的靠普 李志涛csdn OrdHome kafka中文教程 郭俊 Jason的博客 知乎的讨论 视频资源，csdn搜索吧 需求 其实了解kafka也有一段时间了，最近可能需要从一个接口获得数据放进HDFS，感觉直接接受接口的数据放进Hive也不是不可以，但是考虑到稳定性可靠性，决定还是用...
Kafka
HK的博客
01-19 1897
Kafka
kafka_2.12-2.3.0.tgz
07-19
kafka_2.12-2.3.0版本 kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。 卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
Zookeeper配置文档
dkih3093的博客
09-02 252
创建文件夹 cd zookeeper-3.4.6 mkdir data 创建配置文件 使用命令vi“conf / zoo.cfg"打开名为 conf / zoo.cfg 的配置文件，并将所有以下参数设置为起点 $ vi conf/zoo.cfg tickTime=2000 dataDir=/path/to/zookeeper/data clientPort=2...
【Kafka】官方kafka-server-start.sh脚本不能关闭kafka进程的解决办法
Aimo_哈撒的博客
07-23 2205
今天在对Kafka练习的时候， 使用kafka/bin目录这个脚本（kafka-server-stop.sh）来关闭kafka进程会提示说： No kafka server to stop 解决办法如下： 1.打开kafka-server-stop.sh脚本，如下： vikafka-server-stop.sh #!/bin/sh # Licensed to the Apache ...
sh脚本启停kafka集群
码刀攻城
06-17 312
shell 脚本 控制 kafka集群的启停
Kafka系列8：一网打尽常用脚本及配置，宜收藏落灰！
ShiLuoHeroKing的博客
05-27 883
前言通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。为了提高平时的工作效率，帮助我们快速定位一些线上问题，比如查看部分 Partition...
kafka后台启动命令
Z的博客
04-10 2万+
   最近，开发使用的kafka集群环境除了点问题，在解决的过程中需要频繁的启停kafka服务。由于不是专门负责这块，就问同事要了常用的操作命令，但在使用的时候命令有点问题，在这里记录备查。命令：sh kafka-server-start.sh ../config/server.properties &  目的是想让服务后台启动，隐约记得&符号代表后台启动，运行命令后服务确实后台启...
Kafka安装启动以及基本命令
qq_38723455的博客
08-05 809
最近刚进公司在学spark streaming 相关的知识，所以先把相关的flume、Kafka等学习下，下面给出在安装 启动过程中出现的问题以及解决方法。 一、Kafka安装 （1）apache官网可以下载zookeeper和Kafka，然后解压就可以 （2）gedit ./bashrc 命令配置环境变量， 执行source ./bashrc 使文件生效 二、启动Kafka 执行语句 $KAFKA_HOME/bin/kafka-server-start.sh config/server.pr
kafka的安装与启动
qq_59336423的博客
06-16 6011
安装部署集群规划集群部署1.解压安装包2.修改解压后的文件名称3.进入解压后的文件名称修改以下内容：4.分发安装包5.分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=26.配置环境变量在/etc/profile.d/my_env.sh文件中添加kafka环境变量配置 增加如下内容： 刷新一下环境变量 分发环境变量文件到其他节点，并source7.启动集群先启动Zook
kafka官方的kafka-server-start.sh不能关闭kafka进程解决办法
aa494827969的博客
09-18 1106
vi kafka-server-stop.sh 把PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}')这行代码修改为 PIDS=$(jps -lm | grep -i 'kafka.Kafka' | awk '{print $1}') 转载于:https://w...
安装和启动 Kafka 服务
最新发布
06-26
### 安装和启动 Apache Kafka 服务 Apache Kafka 是一个高性能的分布式流处理平台，广泛用于实时数据处理。在 Windows 或 Linux 系统上安装和启动 Kafka 需要一些前置步骤，以下是详细的安装与启动流程。 #### 在 Windows 上安装和启动 Kafka 1. **下载 Kafka** 访问 [Apache Kafka 官方网站](https://kafka.apache.org/downloads)，选择适用于 Windows 的版本进行下载[^1]。通常，Windows 用户会使用包含 Windows 兼容脚本的 Kafka 发行包。 2. **解压文件** 下载完成后，将压缩包解压到一个合适的目录中，例如 `C:\kafka_2.13-3.0.0`（具体版本号可能不同）。 3. **启动 Zookeeper** Kafka 依赖于 Zookeeper 来管理集群元数据。在 Kafka 解压目录下，执行以下命令启动 Zookeeper： ```bash bin\windows\zookeeper-server-start.bat config\zookeeper.properties ``` 默认情况下，Zookeeper 会在 `localhost:2181` 上运行[^4]。 4. **启动 Kafka Broker** 打开一个新的命令提示符窗口，并执行以下命令来启动 Kafka 服务： ```bash bin\windows\kafka-server-start.bat config\server.properties ``` 这将启动 Kafka 并监听默认端口 `9092`[^4]。 5. **创建批处理文件简化启动过程（可选）** 在 Kafka 安装目录下创建一个 `.cmd` 文件（如 `kfk.cmd`），并写入以下内容以便双击启动 Kafka： ```batch call bin\windows\kafka-server-start.bat config\server.properties ``` #### 在 Ubuntu 上安装和启动 Kafka 1. **安装 Java 和 Zookeeper** Kafka 要求系统上已安装 Java 和 Zookeeper。可以使用以下命令安装 OpenJDK 和 Zookeeper： ```bash sudo apt update sudo apt install default-jdk zookeeperd ``` 2. **下载 Kafka** 使用 `wget` 或访问官网下载最新版本的 Kafka： ```bash wget https://downloads.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz ``` 3. **解压 Kafka** 解压下载的 Kafka 压缩包到合适的位置： ```bash tar -xzf kafka_2.13-3.0.0.tgz cd kafka_2.13-3.0.0 ``` 4. **启动 Kafka 服务** 执行以下命令来启动 Kafka 服务器： ```bash bin/kafka-server-start.sh config/server.properties ``` Kafka 将默认监听 `localhost:9092`[^3]。 #### 创建主题和测试生产消费消息 1. **创建主题** Kafka 中的数据是按“主题”组织的，可以通过以下命令创建一个名为 `test-topic` 的主题： ```bash bin\windows\kafka-topics.bat --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 ``` 2. **启动生产者和消费者** 启动一个控制台生产者以向 Kafka 发送消息： ```bash bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test-topic ``` 在另一个终端窗口启动消费者以读取消息： ```bash bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test-topic --from-beginning ``` 通过以上步骤，Kafka 可以成功安装并在 Windows 或 Linux 系统上运行，同时可以开始生产和消费消息。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值