本机idea远程调试flume

最新推荐文章于 2021-08-16 07:18:24 发布

原创最新推荐文章于 2021-08-16 07:18:24 发布 · 267 阅读

0 ·

CC 4.0 BY-SA版权

flume 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何通过修改Flume启动脚本flume-ng中的JAVA_OPTS参数来开启Flume的远程调试功能，设置IDEA进行远程调试的具体步骤，包括配置远程Flume所在机器的IP和端口。

修改flume的启动脚本flume-ng ，找到这段代码

# set default params
FLUME_CLASSPATH=""
FLUME_JAVA_LIBRARY_PATH=""
JAVA_OPTS="-Xmx20m"
LD_LIBRARY_PATH=""

修改JAVA_OPTS为

JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y"

启动 flume-ng，此时已经打开了flume的远程调试，远程调试端口为 8000
2. 设置idea
idea打开flume源码后
idea Debug 配置
在这里插入图片描述
设置远程flume所在机器的ip和端口
这是设置IP和端口
启动即可

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

江南老画船

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据ETL工具比较：Sqoop vs Flume vs Kafka

AI天才研究院

04-22

1128

随着企业数字化转型加速，数据规模呈指数级增长，数据来源从传统关系型数据库扩展到日志、IoT传感器、用户行为等多模态场景。ETL作为数据管道的核心组件，其工具选择直接影响数据处理的效率与可靠性。本文聚焦大数据领域最常用的三款ETL工具——Sqoop、Flume、Kafka，系统对比其技术特性、适用场景及最佳实践，覆盖从基础概念到实战落地的全流程。第2章解析核心概念与架构，通过Mermaid图可视化三者的技术架构；第3章深入算法原理，结合代码示例说明关键机制；

Flume Channel原理与代码实例讲解

热门推荐

通往精英的成长之路

02-28

5万+

关于本地IDEA调试远程的flume

qq_32667911的博客

04-27

362

step1：在flume/bin/flume-ng文件中对如下配置进行修改：修改前：JAVA_OPTS="-Xmx20m" 修改后： JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y" step2：在idea的configuration添加remote的配置，修...

如何远程调试自定义开发的Flume应用

IT大狮兄的博客

08-16

384

一、前言 Flume作为当下最流行的大数据采集组件之一。其本身拥有分布式/高可靠/高可用等优点，但相比较于Flink/Spark/Kafka等大数据组件，其对于本地调试的功能支持度并不高，如果我们没有掌握Flume的远程调试要领，就只能不停的进行打日志，部署，打日志，部署这样低效的工作，而这对于程序员来说无异于折磨。所以今天小编就和大家一起来探究Flume的远程调试方法。二、环境准备 flink官网下载上传服务器并解压。开发自定义Source，这里以简单的读取mysql表数据为demo，部分代码

IMF SPARK 源代码发行定制班预习课程 IDEA Spark应用程序的调试 (1)从SparkSubmit入口进行调试

大模型与Agent智能体

05-01

1356

IDEA Spark应用程序的调试从SparkSubmit入口进行调试 1.下载spark-1.6.1 登录官网http://spark.apache.org/ 2. 安装IntelliJ IDEA。进入下载页面：http://www.jetbrains.com/idea/download/，选择对应版本，下载并安装到集群中某个节点上192.168.18

Cris 玩转大数据系列之日志收集神器 Flume

11-25

1697

Cris 玩转大数据系列之日志收集神器 Flume Author：Cris 文章目录Cris 玩转大数据系列之日志收集神器 FlumeAuthor：Cris1. Flume 概述1.1 什么是 Flume？1.2 Flume 的优点1.3 Flume 组成架构① Agent② Source③ Channel④ Sink⑤ Event1.4 Flume 常见四种拓扑结构1.5 Flume Agent...

使用IDEA通过flume上传本地文件到Hdfs-附件资源

03-05

使用IDEA通过flume上传本地文件到Hdfs-附件资源

IDEA2020修改flume源码并重新编译生成jar包

Defender_bakery的博客

05-10

1607

在大数据实操中配置flume配置文件时，会遇到数据分发到hbase中，配置hbase sink的情况，在配置中会配置serializer 对应的类，这需要我们根据需求修改flume源码，重新编译生成jar包。以下是使用IDEA2020修改flume源码并重新编译生成jar包的方法。下载Flume源码在官网下载与安装配置的Flume版本相对应的源码。官方网址https://downloads.apache.org/flume/ 我使用的版本是1.7.0，源码对应的是src，应用对应的是bin。将.

Flume源码导入IDEA

qq_40454655的博客

06-17

906

参考： https://www.jianshu.com/p/bced0babd3f0

本地 IDEA 对 Flume 进行远程调试

magic_kid_2010的专栏

01-15

1296

1、官网下载 flume 包 https://flume.apache.org/download.html 当前最新版本为：1.9 2、解压 3、修改 flume/bin/flume-ng.ps1，增加 $JAVA_OPTS="-Xmx100m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y"...

flume远程调试

九天的博客

05-22

626

研究flume有一段时间了，不过在对其源码进行修改时，每次都是将修改的代码上传到服务器，然后重启，特别麻烦及浪费时间。前段时间组长告诉我可以远程调试flume源码，这样无论对于阅读源码或是开发都是十分方便的，当时上网上找了一下教程，感觉很简单，也调通了，不过后面也没用。最近需要研读源码了，感觉特别的吃力，才想到可以利用debug模式去看。所以，就将配置过程及踩的坑记录一下。首先下载flume源...

Flume 组件（source、channel、sink）远程调试

shkstart的博客

06-24

293

1.创建Maven工程 2.编写所需要自定义组件的代码（以Source为例）,打包放到服务器上 3.添加idea Debug 配置 4.在服务器上广播Debug端口 [atguigu@hadoop102 flume]$ export FLUME_JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005" 提示：这里需要将suspend=n，改为suspend=y. 5.启动Flume 程序，测试连接

flume学习02---日志记录调试

chbxw

03-18

3025

一、记录原始信息在许多生产环境中，记录流过摄取流水线的原始数据流是不期望的行为，因为这可能导致泄露敏感数据或安全相关配置，例如到Flume日志文件的密钥。默认情况下，Flume不会记录这样的信息。另一方面，如果数据流水线断开，Flume将尝试提供调试问题的线索。调试事件管道问题方法方法：设置一个额外的Memory Channel连接到Logger Sink，它将所有事件数据输出到Flu

idea代码调试debug篇

孤天浪雨

07-10

6236

主要看图，看图一目了然。断点的设定和eclipse一样，只要点一下就可以，下面是我设定的几个断点，再下面的三个窗口是用来调试代码的，这个和eclipse类似调试常用的快捷键 F9 resume programe 恢复程序 Alt+F10 show execution point 显示执行断点 F8 Step Ove

本地idea远程连接flume

06-13

如果你想在本地idea上连接远程的Flume服务，需要进行以下步骤： 1. 确认Flume服务已经启动，并且开启了rpc远程调用服务，默认端口为 41414。 2. 在本地idea的pom.xml文件中添加Flume的依赖： ```xml ...