在Windows环境中安装并使用kafka

Windows环境下安装Kafka流程 在Windows环境下安装Kafka可以帮助开发人员搭建本地的Kafka开发环境,进行本地开发和测试。进入Kafka安装目录,找到bin目录,然后打开一个命令提示符窗口(CMD)。至此,你已成功在Windows环境下安装和配置了Kafka,并能够发送和接收消息。你可以根据自己的需求,进一步进行Kafka的应用和开发。首先,我们需要下载Kafka的压缩包。现在,我们可以在Kafka中创建一个主题(Topic),用于存储和发布消息。这将创建一个名为"test"的主题,其中指定了分区数为1,复制因子为1。 阅读详情

安装部署

安装部署Java

安装zookeeper

  • 下载zookeeper并解压,下载地址:http://zookeeper.apache.org/releases.html,
    选择自己需要的版本
  • 本人选择了zookeeper-3.4.13
  • 下载成功后,将下载文件解压到指定目录
  • 进入zookeeper设置目录,将config目录下zoo_sample.cfg重命名为:zoo.cfg
  • 在编辑器中打开zoo.cfg,将dataDir的值改成自己的data目录(需要新建) 例如:dataDir=c:/data/zookeeper
  • 新建zookeeper系统变量ZOOKEEPER_HOME=,并把bin目录添加到系统的path变量中
  • 打开新的cmd,输入zkserver,运行Zookeeper服务器,如果安装成功,启动的界面如下:

    说明zookeeper已经安装成功并运行在2181端口。

  • 安装kafka

  • 下载需要的软件并解压,下载地址:
    http://kafka.apache.org/downloads.html
  • 本人下载的kafka_2.12-2.1.0,解压到C盘
  • 进入kafka安装目录的config目录,修改server.properties文件,如修改的地方如下:
    把log.dirs改成自己的目录,一般在kafka安装目录下新建文件夹来存放日志文件
  • 例如:log.dirs=C:\data\kafka_logs
  • 需要配置server.properties

     

    advertised.listeners=PLAINTEXT://本机外网IP:9092

  • 否则其他IP无法连接

  • Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181
  • 运行kafka服务器
    • 进入kafka安装目录,按下shift +右键,选择 "在此处打开命令窗口",输入如下命令并按回车
    .\bin\windows\kafka-server-start.bat    .\config\server.properties
    如果安装kafka安装成功,命令运行后应该是下面的情况:
    • kafka安装成功后就可以创建主题存储消息了

kafka启动报错:

Java HotSpot<TM> 64-bit SererVM warning:INFO: os::commit_memory<0x00000000c0000000,1073741824,0> failed;error='页面文件太小,无法操作。'......

An error report file with more information is saved as:xxx.log

 

打开kafka安装位置,在bin目录下找到kafka-server-start.sh文件,将

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"修改为

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"。

如果kafka安装在Windows下,在bin/windows下找到kafka-server-start.bat文件,将

set KAFKA_HEAP_OPTS=-Xmx1G -Xms1G 改为

set KAFKA_HEAP_OPTS=-Xmx256M -Xms128M

注意:有操作系统位数的区别,是32位系统修改32位的,是64位修改64位的

 

然后重新启动,运行成功就可以了;但是如果还是报同样的错误,进入到Kafka的安装位置,如下图,有一个错误的日志文件,删掉后,重新启动,就可以了。
 

 

使用kafka

  • 创建主题:进入kafka安装目录的\bin\windows下按shift +右键,选择“在此处打开命令窗口”,输入如下命令并回车:
  • kafka-topics.bat  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 0 --topic QuoteTopic
  • 创建producer 及consumer来测试服务器
    在kafka安装目录的\bin\windows启动新的命令窗口,producer和consumer需要分别启动命令窗口。
    • 启动producter,启动命令如下:
    kafka-console-producer.bat  --broker-list localhost:9092  --topic QuoteTopic
    • 启动consumer,启动命令如下:
    kafka-console-consumer.bat  --bootstrap-server localhost:9092  --topic QuoteTopic
    
    • 在producter窗口输入内容,如果在consumer窗口能看到内容,则说明kafka安装成功
  • kafka常用命令

  • 列出主题
  • kafka-topic.bat -list -zookeeper localhost:2181
  • 描述主题
  • kafka-topics.bat -describe -zookeeper localhost:2181 -topic [topic name]
  • 从头读取消息
  • kafka-console-consumer.bat -zookeeper localhost:2181 -topic [topic name] -from-beginning
  • 删除主题
  • kafka-run-class.bat kafka.admin.TopicCommand -delete -topic [topic_to_delete] -zookeeper localhost:2181
  • 查看topic的详细信息
  • ./kafka-topic.sh -zookeeper localhost:2181 -describe -topic  [topic name]
  • 为topic增加副本
  • ./kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file json/partitions-to-move.json -execute
  • 为topic增加partition
  • ./bin/kafka-topics.sh -zookeeper localhost:2181 -alter -partitions 20 -topic [topic name]
  • 下线broker
  • ./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper localhost:2181 broker [brokerId] --num.retries 3 --retry.interval.ms 60
    shutdown broker
(篇八)C语言在母串删子串、输入位置截取子串 文章目录一、字符串二、删除指定的字符三、从母串中截取子串四、输入位置截取子串 本篇主要介绍C语言字符串中的相关操作,然后分析两个C语言实例——在母串中指定删除子串、在母串中截取子串 一、字符串 了解C 语言的都知道,C语言中没有字符串类型,所以C语言是用字符串常量、字符指针、字符数组来表示字符串。这些字符串都是以 NULL、’\0’或者ASCII==0来结尾。说白了就是一个个字符组成一串有序序列,... 阅读详情

相关推荐

低功耗模式下的看门狗使用

最近用国产芯片AT32在做一个低功耗的项目,为了实现低功耗模式下的定时唤醒,我选择的是使用相对比较简单的看门狗来做,下面就分享一下使用过程~ 为了最大限度的降低功耗,我用的是待机模式,先看看几种低功耗模式以及唤醒的区别: 而看门狗AT32提供了两种,分别是独立看门狗(IWDG)和窗口看门狗(WWDG),其区别大概有以下几点: 1、独立看门狗(IWDG)由专用的低速时钟(LSI)驱动,即使主时钟发生故障它也仍然有效;窗口看门狗由从 APB1 时钟分频后得到的时钟驱动,通过可配置的时间窗口来检测应用程序非正常

dc18883988396的博客 3028

在Windows安装运行Kafka

1、下载安装包http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注意:根据32/64位操作系统下载对应的安装包2、添加系统变量:JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_141、下载安装包Apache ZooKeeper2、 解压并进入ZooKeeper目录,如:...

weixin_45750721的博客 3040

一个固定翼飞机仿真程序带你系统性上手如何实现配平(工具箱+脚本)

老规矩,该博客所用的模型和脚本已上传至百度网盘,名字为“固定翼配平训练例子”,自己自取。

zouxu634866的博客 2570

Windows下 kafka安装及使用

一、kafka 安装 官网安装地址 安装前提,kafka安装运行最低支持jdk7;本篇演示版本是基于jdk1.8; 目前,Kafka已经内置了zookeeper,不需要单独下载zookeeper windows下载后解压即可 二、启动 1.启动zookeeper bin\windows\zookeeper-server-start.bat config\zookeeper.properties 这边会报一个奇葩的错误,命令行太长,直接将压缩包解压到根目录或者桌面进行操作 尽量减少文件夹名字长度或不要嵌

悟以往之不谏,知来者之可追 5919

能量机关 STM32HAL库开发大疆A板WS2812B彩灯(PWM+DMA)

本文主要目的是为了制作RoboMaster比赛能量机关的灯条控制,模拟比赛场中大符,搭建出类似场地道具,以供视觉测试 使用的是RoboMaster开发板A型,芯片为STM32F427IIH6,使用的灯条为WS2812B。 采用PWM+DMA控制,使用CUBEMX配置底层,keil5编辑烧录代码 实现:一共五片扇叶,每片扇叶均实现流水灯+常亮颜色 参考文章在后面会标记出来

m0_51756449的博客 4291

DVWA全级别详细通关教程

dvwa全级别详细通关教程,暴力破解,命令注入,CSRF跨站请求伪造,文件包含,文件上传​,SQL注入,XSS

m0_62063669的博客 1万+

apache kafka配置中request.required.acks含义

Kafka producer的ack有3中机制,初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。 0:这意味着生产者producer不等待来自broker同步完成的确认继续发送下一条(批)消息。此选项提供最低的延迟但最弱的耐久性保证(当服务器发生故障时某些数据会丢失,如leader已死,但producer并不知情,发出去的信

MiniCTO 1万+

Arduino平台软硬件原理及使用——Arduino Uno板卡的使用

Arduino Uno板卡的基本使用

洪博hopes的博客 4173

kafka在window下的使用

基于上篇介绍各种中间件的优点与缺点,最后选择kafka做为开发消息中间件的系统。 以下介绍kafka在windows中的使用 下载与安装 下载Kafka,http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka-2.4.0-src.tgz 下载Kafka运行需求的环境zookeeper,http://mirror.bit.edu....

NothingToSay01的博客 651

华为od 面试八股文_C++_02_含答案

华为od 面试八股文_C++_02_含答案

MISAYAONE的博客 3121

刷爆 Java 基础!1000 道经典面试题精解第一篇【序列化】

自定义序列化 / 反序列化的实现方式在实现接口的类中,手动重写和方法在方法内优先调用执行默认序列化逻辑;追加自定义逻辑(如敏感数据加密、临时字段赋值、兼容旧版本数据等)。// 序列化ID,保证兼容性// 敏感字段,默认不序列化,自定义处理// 自定义序列化// 执行默认序列化:写入username// 自定义逻辑:密码加密后写入// 自定义反序列化// 执行默认反序列化:读取username// 自定义逻辑:读取加密密码并解密// 模拟加密/解密工具方法。

七叔的博客 191

kafka初识—随笔(windows版)

一、初衷 因为之前学习消息队列,朋友推荐了kafka(卡夫卡),然后就入坑了一段时间,总算对kafka有一个初步的认识。现记录一下坑,和简单的使用方式。这个版本是window的操作,比较简单。希望对初学者有一定的帮助。 二、安装kafka windows版本,卡夫卡的版本是kafka_2.11-1.1.0;依赖zookeeper,版本使用的是zookeeper-3.4.10。直接到官网下载w...

java_Linmingxing的博客 625

​​​​手把手教你玩转RT-Thread操作系统专栏--​​​​第5章 设备驱动开发:RT-Thread的设备框架​​​​5.4 I2C/SPI驱动:如何驱动外部传感器(以MPU6050为例)​

通过本节学习,掌握了基于RT-Thread设备模型的I2C/SPI驱动开发流程,包括硬件初始化、寄存器读写、设备注册及应用程序调用。I2C(Inter-Integrated Circuit)和SPI(Serial Peripheral Interface)是嵌入式系统中最常用的两种串行总线协议,广泛用于连接传感器、存储器等外设。函数通过I2C协议读取外设寄存器的数据(如MPU6050的加速度寄存器)。SPI读取需先拉低片选(CS),发送寄存器地址,再读取数据,最后拉高CS。查找I2C设备,并调用。

xiaoheshang_123的博客 124

kafka安装-windows环境

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。 window环境下如何安装kafka呢? 下载地址: Zookeeper下载地址: http://archive.apache.org/dist/zookeeper/ 选择一个版本进行下载,比如: https://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz Kafka下载地址: ...

一路向前 6037

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Windows 上 kafka 运行环境安装

本文记录了如何在windows系统上安装并测试kafka环境。

Wjhsmart的博客 654

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

​在Windows环境下下安装Kafka​

1 安装JDK Java环境变量配置(Windows) 1.1下载安装JDK和JRE JDK(Java Development Kit)是Java语言的软件开发工具包,包括Java运行环境、Java开发工具、Java基础类库。 JRE(Java Runtime Environment)是Java运行环境,运行Java环境所必须的环境集合。 下载地址:Java Downloads | Oracle 1.2 配置Java环境变量 “计算机”右键菜单--->属性--->高级系统设置.

csllangzxj的博客 6776

windows环境下 kafka安装

kafka安装

ladack的博客 535

windows环境,安装kafka

在 Kafka 的 KRaft 模式下,集群 ID 是用来唯一标识 Kafka 集群的一个 UUID。使用 Kafka 提供的 kafka-storage.sh (Linux/Mac) 或 kafka-storage.bat (Windows) 脚本可以自动生成并格式化存储目录,同时也会生成一个集群 ID。解压 Kafka:将下载的 Kafka 压缩包解压到一个目录,比如 C:\kafka_2.xx.x。listeners: 定义监听地址,例如 PLAINTEXT://localhost:9092。

weixin_42930616的博客 696

WINDOWS上KAFKA运行环境安装

** WINDOWS上KAFKA运行环境安装 ** 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK 1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> “高级系统设置” -> “环境变量” ): JAVA_HOME: C:\Program...

xubai1314521的博客 315

windows环境下安装kafka

zookeeper安装 OS环境:Windows 7 Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper 官网下载 apache-zookeeper-3.6.1-bin.tar.gz,windows环境apache-zookeeper-3.6.1-bin.rar 使用liunx环境 tar -zxvf 解压缩后拷贝到windows环境 \apache-zookeeper-3.6.1-bin\conf\zoo_sample.cfg 重命名为

D_D 的专栏 500

Kafka配置1--Windows环境安装和配置Kafka

1、下载地址: http://kafka.apache.org/downloads.html 清华镜像:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/ 如: https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2....

Quber 7600

windows10 kafka 环境安装教程

操作系统:windows10  64位   Windows10 安装kafka教程   第一步:安配置装java环境 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 使用版本:   jdk-8u151-windows-x64.exe   安装完成后打开

a874909657的博客 1460

修改kafka java环境_在Windows环境中安装并使用kafka

1. 安装部署Javajava -version至于怎么windows怎么安装java,此处不再赘述2. 安装zookeeper下载zookeeper并解压,下载地址:http://zookeeper.apache.org/releases.html,选择自己需要的版本进入zookeeper设置目录,将zoo_sample.cfg重命名为:zoo.cfg在编辑器中打开zoo.cfg,将dataDi...

weixin_39767124的博客 302

Windows上Kafka运行环境安装

安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK 1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> “高级系统设置” -> “环境变量” ): JAVA_HOME: C:\Program Files\Java\jdk1.8.0_171 (jdk的安装路径) Path: 在现有的值后面添加"; %JAVA_HOME%\bin" 1.3 打开cmd.

weixin_46244775的博客 182

windows环境下安装配置Kafka集群

windows环境下安装配置Kafka集群 1.安装Java环境 2.下载zookeeper 博主选用版本为Apache ZooKeeper 3.5.8,参考文章:https://blog.youkuaiyun.com/qq_33316784/article/details/88563482 3.下载kafka 4.配置与启动 博主选用版本为kafka_2.11-2.4.1.tgz ,参考文章:https://www.cnblogs.com/zhanh247/p/11388013.html 确认环境ok进行以下步骤:

qq1170993239的博客 498

Kafka入门-Kafka安装(Windows环境)

写在前面: 1,Kafka安装之前,首先电脑上应该有安装JDK环境,Zookeeper(Kafka需要依赖于Zookeeper环境),Zookeeper的安装可以参考这篇文章:https://blog.youkuaiyun.com/ACMER_2333/article/details/102881687,JDK的安装在这就不再叙述了。 2,这篇文章中kafka的安装是在Windows下安装的 3,这篇文...

Mr.HanChen 839
上一篇: MT4/5 财经新闻 推送
下一篇: vmware安装ubuntu18.04总是 panic -not syncing:corrupted stack end detected inside schedule
MT5开发
博客等级 码龄9年 629粉丝 80原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值