flume远程调试

最新推荐文章于 2023-10-26 18:49:52 发布

-九天-

最新推荐文章于 2023-10-26 18:49:52 发布

阅读量626

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据

本文链接：https://blog.youkuaiyun.com/qq_26653073/article/details/90436965

大数据专栏收录该内容

19 篇文章

订阅专栏

博主研究flume一段时间，修改源码时上传重启麻烦。组长告知可远程调试，当时调通后未用。近期研读源码吃力，决定记录配置过程及踩坑点。包括下载解压源码、基础配置、修改代码、启动flume，还需注释特定属性，最后从github拉取源码并用intellij打开配置。

研究flume有一段时间了，不过在对其源码进行修改时，每次都是将修改的代码上传到服务器，然后重启，特别麻烦及浪费时间。前段时间组长告诉我可以远程调试flume源码，这样无论对于阅读源码或是开发都是十分方便的，当时上网上找了一下教程，感觉很简单，也调通了，不过后面也没用。最近需要研读源码了，感觉特别的吃力，才想到可以利用debug模式去看。所以，就将配置过程及踩的坑记录一下。

首先下载flume源码tar包flumetar包下载
将其放到服务器中并解压，进行相关的基础配置（jdk）;
进入/bin/目录中，找到flume-ng,找到如下代码：

# set default params
FLUME_CLASSPATH=""
FLUME_JAVA_LIBRARY_PATH=""
JAVA_OPTS="-Xmx20m"
LD_LIBRARY_PATH=""

将其中的JAVA_OPTS修改为：

JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y"

然后启动flume，需要进入到/bin下，命令如下

./flume-ng  .....

此处注意：在第2步基础配置中的flume-env.sh中也有一个JAVA_OPTS属性，这个需要注释掉，不然用的即使这个属性，后面的启动也会有错误

接下来从github中拉取flume源码
使用intellij打开源码，选择Run/Debug Configurations 中选择Remote，
接下来可以参考：https://blog.youkuaiyun.com/u012373815/article/details/60601118