Kafka源码调试环境搭建

最新推荐文章于 2025-06-17 11:02:12 发布

weixin_34221112

最新推荐文章于 2025-06-17 11:02:12 发布

阅读量377

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 scala git

原文链接：https://my.oschina.net/haogrgr/blog/705398

本文介绍如何搭建Kafka 0.8.2.2版本的开发环境，包括所需依赖软件的安装配置、源码下载与转换为Eclipse工程的过程，并详细说明如何配置及运行Kafka。

2019独角兽企业重金招聘Python工程师标准>>>

写在前面

用到了kafka, 于是借机会看看代码, 顺便复习下Scala, 看到一半, 换电脑了, 搭环境有搭了半天, 所以记录下. 注意这里是0.8.2.2版本, 因为公司用的就是这个版本.

依赖的软件

Git
ScalaIDE(4.4.1)
Gradle
ZooKeeper

环境搭建

下载源码并切换分支到0.8.2.2版本:

git clone git@github.com:apache/kafka.git
git checkout -b 0.8.2.2 0.8.2.2

安装配置Gradle
1. 下载解压Gradle压缩包, 并配置GRADLE_HOME和PATH, (可以通过GRADLE_USER_HOME指定jar包下载地址)
2. 添加全局配置文件(GRADLE_HOME/init.d/init.gradle), 优先使用本地Maven仓库.
```
allprojects {
    repositories {
        mavenLocal()
        maven{ url 'your nexus'}
        mavenCentral()
    }
}
```
安装ZooKeeper(略)
将Kafka源码转换为eclipse工程

#切换到kafka代码目录
gradle
./gradlew eclipse

将Kafka工程导入到ScalaIDE中.
1. 先导入kafka/clients项目(core项目依赖clients)
2. 再导入kafka/core项目
3. clients是Java代码不用配置.
4. core是Scala项目, 因为0.8.2比较老, 所以要设置Scala编译级别为2.10(项目属性->Scala Compiler->勾上Use Project Settings->Scala Installation 选择2.10)
5. 然后clean下, 反正我是挺顺利的~~~

运行源码

启动ZooKeeper
主类在/core/src/main/scala/kafka/Kafka.scala
修改Kafka.scala文件设置kafka使用的配置文件, 和日志文件配置(通过手动设置main方法参数, 和系统参数来实现)

def main(args: Array[String]): Unit = {
    val args = Array("""C:\projects\kafka08\kafka\core\conf\server.properties""")
    System.setProperty("log4j.configuration", """file:C:\projects\kafka08\kafka\core\conf\log4j.properties""")
    //下面的不修改
}

kafka是通过脚本来停止的, 所以这里debug, 为了避免每次都杀进程, 所以修改下, 这样可以通过控制台回车就可以正常关闭kafka了.

//注释掉awaitShutdown方法调用, 修改为in.read(), 然后调用shutdown
def main(args: Array[String]): Unit = {
    kafkaServerStartable.startup
    //kafkaServerStartable.awaitShutdown
    System.in.read()
    kafkaServerStartable.shutdown()
}