kafka源码编译

最新推荐文章于 2023-07-15 15:57:51 发布
原创 最新推荐文章于 2023-07-15 15:57:51 发布 · 141 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #源码编译 #eclipse

 git clone http://git-wip-us.apache.org/repos/asf/kafka.git D:\git\kafka

 

https://kafka.apache.org/downloads.html

 

 安装gradle

 

 到kafka目录下

 

 运行gradle wrapper，解决找不到类

 If you just checked out the code, you don't have the gradle wrapper library and you'll get an error message after running `./gradlew`:

"Error: Could not find or load main class org.gradle.wrapper.GradleWrapperMain"

To fix it you need to run `gradle wrapper` first which will download the gradle wrapper (you need to have gradle >= 1.7 installed locally).

 

运行

./gradlew eclipse

 

gradle idea

 

 gradle build -x test

其中的-x test表示跳过unit test

 

https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup

https://docs.gradle.org/current/userguide/gradle_wrapper.html

 

 

 

【Kafka】编译 Kafka 源码并搭建源码环
石臻说AI(szzdzhp001) 【原名 石臻臻的杂货铺】
02-16 2486
搭建源码环境可以看这篇文章： 编译 Kafka 源码并搭建源码环境 上面有个地方注意,启动的时候,可以传入VM参数来指定 kafka.log.dir 路径(存放各种日志的路径) -Dkafka.logs.dir=/Users/shirenchuang/work/IdeaPj/open_source/kafka/logs 按照上面的方法搭建并成功启动了Kafka, 那么当我们想要启动集群怎么办呢？ IDEA同时启动多个Kafka 配置多个server.properties, 例如server1.pro
kafka源码阅读环境搭建(mac)
m0_37135879的博客
12-05 2099
** 一.准备 ** gradle:gradle-4.8.1 kafka源码包 Kafka-1.0.2 scala 2.13.7 二.gradle环境搭建 解压安装包配置环境变量 #GRADLE_HOME GRADLE_HOME=/Users/guchenfei/Source/gradle-4.8.1 export PATH=$PATH:$GRADLE_HOME/bin 验证gradle环境 gradle -version guchenfeideMacBook-Pro:~ guchenfei$ grad
kafka 源码运行环境搭建
rigete的博客
11-05 4931
apache kafka 作为一款高吞吐量，分布式的消息中间件，在越来越多的互联网公司流行起来了，为了更好地熟悉和掌握kafka的运行原理和细节，可以搭建一套本地可运行的源码环境来熟悉kafka。 1. 源码     在kafka官方网址， 下载 kafka-0.8.1.1-src.tgz 源码，解压: tar -xzvf kafka-0.8.1.1-src.tgz 2. 依
kafka源码阅读环境搭建
亚瑟的守护的专栏
09-28 9360
1、源码地址 http://archive.apache.org/dist/kafka/0.10.0.0/kafka-0.10.0.0-src.tgz 2、环境准备 centOS gradle 下载地址 https://services.gradle.org/distributions/gradle-3.1-bin.zip 安装请参考 这里 。注意要安装3.1版本，如果安装1.1版本可能会...
Kafka源码编译
梁海江的博客
11-24 2774
1. 环境准备 kafka源码编译需要依赖gradle与scale，所以在编译kafka源码之前需要安装配置爱gradle与scala环境。下表是各个环境安装的版本及下载地址，当然还需要jdk8,这里不做详细说明。 序号 软件 版本 下载地址 1 gradle 5.5 点击下载-gradle_5.5 2 scala 2.11.xx（2.11.12） 点击下载-scala-2.11.12 3 kafka 2.1.0 点击下载-kafka_2.1.0 2. 环境安装 这里安装按照正常
kafka源码编译准备
moke的博客
12-27 1122
以我自己编译kafka为例。 gradle5.2 java8 scala2.12.12 kafka2.11.0 idea社区版 一、拉取kafka源码 找到一个空文件夹，拉取kafka源码。例D:\yh\SourceCode 打开cmd，执行如下命令： git clone https://github.com/apache/kafka.git ## 切换到kafka0.11.0分支 git checkout 0.11.0 二、安装gradle并编译kafka源码 配置gradle，新增用户变量
Kafka 源码编译部署包
07-15 2039
Java 版本: 1.7.0_80。Gradle 版本: 4.8.1。Kafka 版本: 0.11。
1.kafka源码编译
flying roc
06-26 827
kafka源码编译 1.准备环境 1.java环境 检查java版本，1.8 java -version 2.scala环境 检查scala版本，2.11.8 scala -version 3.gradle环境 检查gradle版本 gradle -version gradle各版本下载地址 4.kafka kafka各版本下载地址 这里下载0.11.3，gradle版本也要选择低版本，4.10.2可以编译成功，5.6,6.8都编译失败 2.编译kafka 解压kafka-0.11.0.3-src.
聊聊 Kafka：编译 Kafka 源码并搭建源码环境
mxy2404830的博客
12-16 1000
一、前言 老周这里编译 Kafka 的版本是 2.7，为啥采用这个版本来搭建源码的阅读环境呢？因为该版本相对来说比较新。而我为啥不用 2.7 后的版本呢？比如 2.8，这是因为去掉了 ZooKeeper，还不太稳定，生产环境也不太建议使用，所以以 2.7 版本进行源码搭建并研究。 二、环境准备 JDK：1.8.0_241 Scala：2.12.8 Gradle：6.6 Zookeeper：3.4.14 三、环境搭建 3.1 JDK 环境搭建 这个就不用我说了吧
kafka源码编译 Failed to load class org.slf4j.impl.StaticLoggerBinder
yizefeng7241的专栏
09-24 1121
版本： kafka 2.1 jdk1.8 scala2.11.12 gradle 5.5 导入IDEA编译后启动Kafka.scala提示： Failed to load class org.slf4j.impl.StaticLoggerBinder 查询官网解决方案： IDEA中lib添加新的，然后去掉旧的版本 启动，仍然是同样的问题。 于是继续查找资料，说是core未引入slf4j依赖，于是在build.gradle文件中查找到 project(':core'...
Kafka最新源码编译过程
azhida的博客
07-09 2892
开篇 最近准备研究一下kafka的源码，最直接的就是把源码下载下来，通过debug进行研究。经过一段折腾，最终把环境给搭建好了，在这里和大家分享一下。 步骤 第1步 安装 Java 和 Gradle 安装Idea的 Scala 插件 提示： 如果你电脑上没有安装过 Gradle 或者 Scala 可以先去官网上看一下 kafka 依赖的版本，然后下载成一样的，不然在编译过程中还会现在他们依赖的版本。或者修改配置文件改变版本号 第2步 下载 Kafka 的源码 使用如下命令： $ cd {要存储Ka
kafka源码编译及开发环境搭建
黑曼巴
06-16 8686
1.安装gradle 1.gradle各版本下载跟路径 https://services.gradle.org/distributions/ 2.我们这里下载和kafka 2.3.1版本匹配的gradle版本，5.4.1 https://services.gradle.org/distributions/gradle-5.4.1-bin.zip 3.解压 cd /users/yyj/soft tar xvzf gradle-5.4.1-bin.zip 4.配置gradle环境
kafka 获取metadata
10-14 2091
数据   NetworkClient类，方法poll，检查metadata是否需要更新 方法： /** * Add a metadata request to the list of sends if we can make one */ private void maybeUpdateMetadata(List<NetworkSend> sends, long now) { // Beware that the
kafka 重新分配leader kafka-preferred-replica-election.sh
07-17 967
opicPartitionList.json： {"partitions":[{"topic":"topic","partition": 0},{"topic":"topic","partition": 1},{"topic":"topic","partition": 2},{"topic&quot
kafka接口协议二 详细
07-10 547
r，当leader broker处理数据有误时，有两种情况1.broker死了，2broker不在包含此partition； 所以需要循环处理过程，当返回有误，则刷新metadata，在执行   官网：   Cycle through a list of "bootstrap" kafka urls until we find one we can connect to. Fetch cluster metadata. Process fetch or produce
kafka leader balance
10-14 431
ly be a follower for all its partitions, meaning it will not be used for client reads and writes. To avoid this imbalance, Kafka has a notion of preferred replicas. If the list of replicas for a partition is 1,5,9 then node 1 is preferred as the leader to
ubuntu编译kafka源码
最新发布
12-27
<think>首先，我需要理解用户的查询。用户想在Ubuntu系统上编译Kafka源码，并询问教程。用户提供了站内引用，但这些引用是关于安装预编译的Kafka包，而不是编译源码。例如，引用[1]提到下载预编译的tgz文件，引用[2]和[3]也是类似。引用[4]涉及编译librdkafka，但那是Kafka客户端库，不是Kafka本身。 我的系统指令强调：必须使用$...$格式的行内LaTeX数学表达式，独立公式用$$...$$，确保LaTeX语法正确，用中文回答，生成相关问题，在引用末尾添加标识如[^1]。回答要结构清晰，帮助用户逐步解决问题，保证真实可靠。 用户的核心需求是编译Kafka源码，所以我需要基于Kafka官方文档或可靠来源提供步骤。Kafka是用Scala和Java写的，编译通常需要JDK、Scala、Gradle等工具。官方文档有详细指南。 步骤分解： 1. 系统准备：安装依赖项如JDK、Gradle。 2. 下载源码：从Apache Kafka官网获取源码。 3. 编译：使用Gradle命令构建。 4. 验证：运行测试或启动Kafka。 确保所有命令用代码块表示，并正确格式化。行内变量如$JAVA_HOME$可能需要LaTeX，但在这个上下文中，主要是代码和步骤。 生成相关问题：基于编译源码的主题，如为什么需要编译源码、常见问题、优化编译等。 最后，在回答中自然地添加引用标识。用户提供的引用不直接相关，但我可以引用官方文档或可靠资源。既然用户说“上述引用仅供参考”，我应该忽略不相关的部分，专注于查询。 大纲： - 介绍：简述编译Kafka源码的必要性和准备。 - 详细步骤：分步指南。 - 结束：相关问题。 </think> ### Ubuntu 系统下编译 Kafka 源码教程 编译 Kafka 源码需提前安装 Java、Scala 和构建工具 Gradle。以下是详细步骤（以 Kafka 3.6.0 为例，其他版本操作类似）： --- ### **1. 安装依赖环境** ```bash # 安装 OpenJDK 17（Kafka 3.0+ 需 JDK 11+，推荐 JDK 17） sudo apt update sudo apt install openjdk-17-jdk -y # 验证 Java 版本 java -version # 应输出类似 $java\ version\ "17.0.10"$ # 安装 Scala（需与 Kafka 版本匹配，如 Scala 2.13） sudo apt install scala -y scala -version # 应输出 $version\ 2.13.x$ # 安装 Gradle sudo apt install gradle -y gradle -v # 验证版本（需 ≥7.0） ``` --- ### **2. 下载 Kafka 源码** 从 [Apache Kafka 官网](https://kafka.apache.org/downloads) 获取源码包（选择 *Source* 类型）： ```bash wget https://downloads.apache.org/kafka/3.6.0/kafka-3.6.0-src.tgz tar -xzf kafka-3.6.0-src.tgz cd kafka-3.6.0-src ``` --- ### **3. 编译源码** 使用 Gradle 执行构建命令： ```bash # 完整编译（包含测试） ./gradlew jar -x signArchives # 跳过签名步骤以加速 # 若需生成可部署包（含二进制） ./gradlew releaseTarGz -x signArchives ``` - **编译输出**： - 核心 JAR 文件位于 `core/build/libs/` - 完整二进制包位于 `core/build/distributions/`（名称类似 `kafka_2.13-3.6.0.tgz`）[^5]。 --- ### **4. 验证编译结果** 运行单元测试确保编译正确： ```bash ./gradlew test # 执行所有测试 ``` 启动本地 Kafka 服务测试： ```bash # 使用编译生成的二进制包 tar -xzf core/build/distributions/kafka_2.13-3.6.0.tgz cd kafka_2.13-3.6.0 bin/zookeeper-server-start.sh config/zookeeper.properties & # 启动 Zookeeper bin/kafka-server-start.sh config/server.properties & # 启动 Kafka ``` --- ### **常见问题解决** - **依赖下载失败**： 修改 `build.gradle` 中的仓库源为国内镜像（如阿里云）： ```gradle repositories { maven { url 'https://maven.aliyun.com/repository/public' } mavenCentral() } ``` - **内存不足**： 增加 Gradle 内存限制： ```bash export GRADLE_OPTS="-Xmx2048m -XX:MaxMetaspaceSize=512m" ``` - **Scala 版本不匹配**： 修改 `gradle.properties` 中的 `scalaVersion` 字段（例如 $scalaVersion = 2.13.12$）[^5]。 --- ### **为什么需要编译源码？** - **定制化需求**：修改 Kafka 核心逻辑（如协议、存储机制）。 - **版本兼容性**：适配特定 Scala 或 Java 版本。 - **性能优化**：针对硬件调整编译参数。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值