kafka-2.5.1源码本地用intellij2019的gradle编译运行

从零到一:基于Gradle与Scala的Kafka源码编译与本地调试实战 本文详细介绍了从零开始基于Gradle与Scala进行Kafka源码编译与本地调试的完整流程。涵盖环境搭建、源码获取、编译技巧、IDEA项目配置以及本地启动验证等关键步骤,帮助开发者高效完成Kafka源码编译与调试工作,特别适合需要深入理解Kafka内部机制的开发者。 阅读详情


1.安装jkd、scala、gradle

  1. jdk版本1.8 (1.8.0_261)
  2. scaka版本 2.12.10 或者 2.13.3 kafak的核心代码使用scala编写的
  3. gradle版本5.6

安装完毕后,配置环境变量
上述版本都是kafka-2.5.1工程文件里配置的,最好编译时保存一直

2.官网下载kafka-2.5.1-src

3.intellij2019的gradle编译运行调试


3.1导入gradle工程


3.2修改build.gradle工程文件

编译出现的问题都是依赖关系源引起的,修改下载源地址是最简单快捷的解决办法。其他办法耗时费力还不一定解决。
3.3查看README.md进行编译

4.以连接器运行调试为例

查看connect-standalone.sh进步找到程序入口org.apache.kafka.connect.cli.ConnectStandalone

设置运行环境:

上述值是:-Dlog4j.configuration=file:E:\2020kafka\kafka-2.5.1-src\config\connect-log4j.properties

config\connect-standalone-dm.properties config\connect-dm-source.properties

现在可以开始跟踪调试了。

IDEA搭建Kafka2.8.2本地源码环境 下载地址为:http://www.scala-lang.org/download/all.html,笔者这里使用的版本是scala-2.11.12。一般只需要将下载的包解压,然后再将$GRADLE_HOME/bin的路径添加到环境变量Path中即可,其中$GRADLE_HOME指的是Gradle的根目录。下载地址为:https://gradle.org/releases/,kafka2.8.2要求gradle的版本在5.6以及5.6以上,这里下载了5.6。安装配置Zookeeper。安装配置Gradle。 阅读详情

相关推荐

从零到一:基于IDEA与Gradle的Kafka 3.6.1源码深度编译与本地化启动实战

本文提供了基于IDEA与Gradle对Kafka 3.6.1进行源码编译与本地化启动的完整实战指南。从JDK、Gradle、Scala环境准备开始,详细讲解了获取源码、执行关键编译命令(如`./gradlew idea`和`./gradlew build`)、在IDEA中正确配置项目与SDK,到最终配置并启动本地Kafka服务器及进行功能验证的全过程。重点解决了源码编译中的常见问题,并演示了如何利用IDEA进行源码调试,是深入理解Kafka内部机制的实践基础。

weixin_28834765的博客 110

Kafka2.1.1编译

文章目录Kafka2.1.1编译一、下载二、修改build.gradle三、编译 Kafka2.1.1编译 一、下载 1.kafka源码 http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.1.1/kafka-2.1.1-src.tgz 2.解压下载的kafka源码,比如在/root/kafka/kafka-2.1.1-src目录下 3.下载sca...

lisenyeahyeah的博客 1652

搭建kafka2.0.0源码开发环境

一、先安装好java、scala、zookeeper、gradle,需要配置 JAVA_HOME、SCALA_HOME、ZOOKEEPER_HOME、GRADLE_HOME、PATH、CLASSPATH(java的) 二、下载 kafka 2.0.0 源码(要下载zip包,gz包里有些java文件有问题,是以.java0000664结尾) https://github.com/apache/ka...

will的成长之路 1589

kafka源码环境的搭建

一:kafka源码环境的搭建

li-zhang-yu的博客 310

kafka实体演示IDEA

kafka分布式订阅消息系统,该demo演示了2种,一种是单独的,另外一种就是集中Spring boot的。

kafka-clients-2.5.1.jar

java连接Kafka jar

Kafka 源码编译

环境准备 JDK1.7 or higher(建议使用 JDK 1.8) 软件准备 scala-2.11.12.zip 下载地址:https://www.scala-lang.org/download/2.11.12.html gradle-4.8.1-bin.zip(写本文的时候gradle最新版是4.8.1) 下载地址:https://gradle.org/releases/ 下载bina...

Horace Ho的博客 2208

gradle 3.0,最近在编译kafka6.8.1

gradle3.0解决开源框架kafka0.10.1.0版本无法编译问题和各版本的下载地址在文档中有记录

Linux安装Kafka2.5.1(超详细)

超详细安装JDK,Zookeeper,Kafka

Sumuxi9797926的博客 1214

C#实现不占用串口的串口监听与侦听技术:高效监控串口数据的最佳实践

本文详细介绍了如何实现不占用串口的串口监听与侦听技术,解决了传统串口监听可能带来的串口占用问题。通过使用虚拟串口、外部监听工具或第三方库,我们可以高效地实现串口数据的捕获与处理,适用于各种工业控制、物联网和嵌入式开发的应用场景。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1673

Bochs源码分析 - 26:8259中断控制器介绍

前言 现在我们跟着《x86/x64体系探索及编程》来分析17章内容 -- 8259中断控制器。这个是涉及硬件的,很遗憾,除了大学期间使用STM32搞过一个计算器,其余就没多少硬件编程经验,我在淘宝上找了下大概是这个东东。 https://pdos.csail.mit.edu/6.828/2010/readings/hardware/8259A.pdf 上面是8259A的芯片手册,里面讲的还是挺详细的,虽然里面很多东西还是看不太懂,但是结合着《x86/...

WriteAnything_的博客 967

Kafka源码编译

1. 环境准备 kafka源码编译需要依赖gradle与scale,所以在编译kafka源码之前需要安装配置爱gradle与scala环境。下表是各个环境安装的版本及下载地址,当然还需要jdk8,这里不做详细说明。 序号 软件 版本 下载地址 1 gradle 5.5 点击下载-gradle_5.5 2 scala 2.11.xx(2.11.12) 点击下载-scala-2.11.12 3 kafka 2.1.0 点击下载-kafka_2.1.0 2. 环境安装 这里安装按照正常

梁海江的博客 2944

TensorFlow_PyTorch实战:构建AI人工智能回归模型

回归分析是机器学习的核心任务之一,用于预测连续型目标变量(如房价、股票价格、用户留存时间等)。基础线性回归模型的数学原理与代码实现多项式回归模型的过拟合处理与正则化技巧自定义数据集加载与数据预处理流程动态图(PyTorch)与静态图(TensorFlow)的编程范式对比模型评估指标与可视化分析方法核心概念:对比两大框架的架构设计,解析回归模型核心组件数学原理:推导线性回归的假设函数、损失函数及优化算法算法实现:提供TensorFlow和PyTorch的完整代码示例项目实战。

AI天才研究院 1429

IntelliJ IDEA下构建kafka环境与源码编译

最近希望深入研究下kafka的架构,想了解架构必须去阅读其源码。于是自己动手在IDE下构建一个可运行可调试的kafka环境,下面是构建kafka环境及编译源码。 一、安装jdk C:\Users\Administrator>java -version java version "1.8.0_172" Java(TM) SE Runtime Environment (build 1.8....

goodstudy168的专栏 2390

Matlab安装Embedded Coder Support Package for Texas Instruments C2000 Processors教程

Matlab安装Embedded Coder Support Package for Texas Instruments C2000 Processors

m0_69133594的博客 2826

手把手教你RK3588 NPU驱动与RKNN Toolkit,AI开发不迷路!

本文详细介绍了RK3588 NPU驱动安装与RKNNToolkit使用方法。首先阐述了RK3588芯片在嵌入式AI领域的优势,包括6TOPS算力和混合量化支持。随后分步骤讲解了NPU驱动安装流程,包括准备工作、编译安装、验证调试及常见问题解决。接着全面介绍了RKNNToolkit的环境搭建、基本使用流程和图像分类实战案例,涵盖模型转换、推理优化等关键环节。最后展望了RK3588在智能安防、工业自动化等领域的应用前景,为开发者提供了完整的嵌入式AI开发指南。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 433

kafka源码解读(一)kafka2.x读源码环境搭建

在windows下,使用idea 阅读kafka2.x源代码 1.前提 必读 kafka ReadMe https://github.com/apache/kafka/blob/trunk/README.md Apache Kafka See ourweb sitefor details on the project. You need to haveGradleandJ...

腊八粥 2606

matlab SAR图像的多视滤波

单视复数数据(Single Look Comple)是原始的最高分辨率数据,但是从单个像元散射的雷达回波信号的相干叠加,导致强度信息有很多噪声。SAR的多视处理是对SLC数据方位向和/或距离向做平均,得到的结果是多视后的强度数据。多视处理可以提高SAR图像的信噪比,有效抑制斑点噪声,但是会降低方位分辨率。

点云侠的博客 534

idea2022.1本地启动Kafka4.0.1源码

libs目录下所有文件,因此需将kafka_2.13-4.0.1目录下libs目录整体复制过来。执行成功后在server.properties配置logs文件夹中出现以下两个文件。项目引入scala依赖(需将下载的scala-2.13.18.zip解压)apache-kafka-4.0.1安装包下载-开源镜像站-阿里云。配置gradle路径为解压后的gradle-8.10.2。编译完成后Kafka.scala显示如下图。以上配置完成后进行元目录初始化,

qq_42352264的博客 749

Yolov8-pose关键点检测:训练实战篇 | 手部关键点检测

yolo8-pose实战检测手部关键点并优化。

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 3396

RK3576 USB3.0 DWC3控制器调试:PHY初始化失败排查指南

DWC3 是 Synopsys 公司推出的 USB3.0/3.1 控制器 IP,支持双角色(DRD)模式,可配置为 Host、Device 或 OTG。

小灰灰的博客 1177

别再用Docker了!手把手教你用Gradle 8.7和IDEA从源码启动Kafka 3.6.1服务器

本文详细介绍了如何不使用Docker,而是通过Gradle 8.7和IDEA从源码编译并启动Kafka 3.6.1服务器。从环境准备、源码获取、编译配置到IDEA项目设置,手把手教你深入理解Kafka的核心机制,适合需要定制化开发和性能调优的高级用户。

weixin_42635064的博客 303

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Kafka/Kafka Stream源码阅读环境搭建

Kafka Stream源码阅读环境搭建安装JDK下载并安装Gradle下载并安装Scala下载Kafka并构建源码环境 **源码环境说明: OS:Ubuntu16.04.6,IDE:Intellij IDEA,JDK8,Scala 2.11.8, ** 安装JDK 添加仓库源 sudo add-apt-repository ppa:webupd8team/java 更新软件包列表 sudo a...

ibless的博客 1134

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Kafka源码环境搭建完整指南

本文详细介绍了从零开始搭建Kafka源码开发环境的完整流程,包括环境准备(JDK、Scala、Gradle安装)、源码获取与版本选择、编译配置(镜像源设置)、源码编译与IDE项目生成、IntelliJ IDEA配置等关键步骤。特别提供了Windows和Linux系统下的操作指南,并针对国内用户给出了加速下载的解决方案。文章还包含Zookeeper配置、Kafka启动、Topic测试等实际运行环节,以及编译和运行过程中的常见问题解决方法。最后介绍了源码调试技巧,帮助开发者深入理解Kafka内部机制。整个过程强

油墨香^-^的博客 909

linux编译kafka源码,Linux Kafka源码环境搭建

本文主要讲述的是如何搭建Kafka的源码环境,主要针对的Linux操作系统下IntelliJ IDEA编译器,其余操作系统或者IDE可以类推。1.安装和配置JDK确认JDK版本至少为1.7,最好是1.8及以上。使用java -version命令来查看当前JDK的版本,示例如下:lenmom@M1701:~/workspace/software/hadoop-/bin$ java -versionj...

weixin_32818781的博客 633

idea编译kafka 2.6 源码

idea编译kafka 2.6 源码 最近项目要接入kafka和flink,有时间就学一下kafka的源码,就编译了一下kafka的源码,期间还是踩了不少坑的。 一、安装jdk 二、安装scala 三、安装gradle 四、本地启动zookeeper 最近在官网下载,然后解压,调整配置文件,将zoo_sample.cfg复制一份为zoo.cfg,内容如下: # The number of...

qq_29860591的博客 804
上一篇: Zookeeper要点笔记
下一篇: 安装配置Tendermint
ipsecvpn
博客等级 码龄21年 4粉丝 20原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值