Flume 组件（source、channel、sink）远程调试

最新推荐文章于 2024-11-16 00:59:48 发布

原创最新推荐文章于 2024-11-16 00:59:48 发布 · 310 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#intellij idea

代码工具专栏收录该内容

27 篇文章

订阅专栏

本文详细介绍如何通过Maven工程创建自定义Flume组件，包括代码编写、服务器部署、IDEA调试配置及远程调试流程。从创建工程到调试端口设置，再到实际测试连接，提供了一套完整的远程调试方案。

1.创建Maven工程

2.编写所需要自定义组件的代码（以Source为例）,打包放到服务器上

在这里插入图片描述

3.添加idea Debug 配置

在这里插入图片描述

4.在服务器上广播Debug端口

[atguigu@hadoop102 flume]$ export FLUME_JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005"

提示：这里需要将suspend=n，改为suspend=y.

5.启动Flume 程序，测试连接

[atguigu@hadoop102 flume ]$ flume-ng agent -c conf/ -f jobs/mysource.conf -n a1 -Dflume.root.logger=INFO,console

在这里插入图片描述

6.进入Idea 进行Debug操作

在这里插入图片描述

7.取消端口的广播

[atguigu@hadoop102 flume]$ export  -n FLUME_JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005"

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序员驴子酱

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

如何远程调试自定义开发的Flume应用

IT大狮兄的博客

08-16

410

一、前言 Flume作为当下最流行的大数据采集组件之一。其本身拥有分布式/高可靠/高可用等优点，但相比较于Flink/Spark/Kafka等大数据组件，其对于本地调试的功能支持度并不高，如果我们没有掌握Flume的远程调试要领，就只能不停的进行打日志，部署，打日志，部署这样低效的工作，而这对于程序员来说无异于折磨。所以今天小编就和大家一起来探究Flume的远程调试方法。二、环境准备 flink官网下载上传服务器并解压。开发自定义Source，这里以简单的读取mysql表数据为demo，部分代码

大数据——Flume组件Source、Channel和Sink具体使用

蜂蜜柚子加苦茶

12-14

2743

Flume组件Source、Channel和Sink使用说明Flume SourcesAvro Source配置范例Thrift Source配置范例Exec Source配置范例JMS Source关于转化器配置范例Spoolinng Directory Source配置范例Event反序列化器Taildir Source配置范例Twitter 1% firehose Source（实验性）配置范例Kafka Source配置范例NetCat TCP Source配置范例NetCat UDP Source

参与评论您还未登录，请先登录后发表或查看评论

关于本地IDEA调试远程的flume

qq_32667911的博客

04-27

374

step1：在flume/bin/flume-ng文件中对如下配置进行修改：修改前：JAVA_OPTS="-Xmx20m" 修改后： JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y" step2：在idea的configuration添加remote的配置，修...

idea远程调试看flume源码

wyee000的博客

07-22

383

感觉对flume只是会用，并不了解底层实现，所以我准备追追源码，看看flume的一个运行过程。 1.安装flume（略） 2.开启远程调试在flume的bin目录找到flume-ng，然后在flume-ng中找到图中所示的部分：修改框住的地方为： JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,ser...

flume1.7源码编译及main方法启动

shengpli′s blog

02-03

2768

一、编译首先下载flume1.7源码，导入eclipse 1.Maven依赖报错Missing artifact jdk.tools:jdk.tools:jar:1.7 添加依赖 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools<...

Flume(7) flume自定义Sinks实现

cowbin2012的专栏

05-07

1万+

源码地址前言接上一篇Flume(6) flume自定义Sources实现，我们总结了一下自定义source的流程，这次我们实现一个自己的Sink，将数据Sink到Mysql数据库中。创建数据库相关 CREATE TABLE `flume` ( `content` varchar(255) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=u...

Flume中Source、Channel、Sink配置

sharkdoodoo

02-17

951

使用Flume接收日志

Flume笔记 —— 几种常见的source，channel，sink配置文件以及相关用法

一纸春秋的博客

12-09

8474

目录概念与官方文档监听文件目录数据变更，输出到控制台拦截器source监听文件目录，sink输出到hdfs将hbase日志信息写入hdfssource监听netcat端口，sink写入控制台概念与官方文档 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。一个agent内部有三个组件： Source：采集源，用于跟数据源对接，以获取数据； Channel：agent内部的数据传输通

【大数据学习 | flume】flume之常见的sink组件

最新发布

2301_80912559的博客

11-16

1863

Flume Sink。Flume也提供了各种sink的实现，包括HDFS sink、Logger sink、Avro sink、File Roll sink、HBase sink，。 Flume Sink在设置存储数据时，可以向文件系统中，数据库中，hadoop中储数据，在日志数据较少时，可以将数据存储在文件系中，并且设定一定的时间间隔保存数据，在日志数据较多时，可以将相应的日志数据存储到Hadoop中，便于日后进行相应的数据分析。

Flume-常见source、channel、sink

_衷愉的博客

01-02

2386

常见Flume-source、channel、sink详解Flume SourcesAvro SourceExec SourceSpooling Directory SourceKafka Source Flume Sources Avro Source Listens on Avro port and receives events from external Avro client strea...

flume包，用于数据的采集

01-12

flume的包。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。Client：Client生产数据，运行在一个独立的线程。　Event：一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。）　　Flow： Event从源点到达目的点的迁移的抽象。　　Agent：一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。）　　Source：数据收集组件。（source从Client收集数据，传递给Channel）　　Channel：中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接 sources 和 sinks ，这个有点像一个队列。）　　Sink：从Channel中读取并移除Event，将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）

自定义flume的sink

weixin_30776545的博客

02-24

103

import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import kafka.serializer.StringEncoder; import org....

flume自定义sink

韩利鹏

11-23

901

java文件：package com.dle;import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException;import org.apache.flume.Channel; import org.apache.flume.Co

2. Flume Source 详解

sun

06-05

2895

1. Avro Source属性说明 a1.sources = r1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.channels = c1 a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 4141 2. Spooling Directory Source

flume插件开发debug

nevermore668的博客

11-08

726

1.下载安装好flume，配置flume；配置文件示例：lng_2.channels=c1 lng_2.channels.c1.capacity=60000 lng_2.channels.c1.transactionCapacity=20000 lng_2.channels.c1.type=memory lng_2.sinks=k1 lng_2.sinks.k1.batchSize=60 lng...

flume远程调试配置

xinji

01-03

248

原因: flume 二次开发;需要调试代码修改 flume-ng 配置 #开启远程调试端口 5005 JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=5005,server=y,suspend=y" 启动flume-ng 在服务器上启动 idea 加载flume源码配置 remote IP 与端口号 ...

Flume初解

debugbugbg的博客

05-29

215

Flume*Flume OG -->Flume NG 是Cloudera 提供的一个分布式、可靠、可用的系统(两个版本不兼容)；Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志手机，并支持failover和负载均衡*Flume使用Java编写，需运行在java1.6或以上版本*Hadoop离线计算开发流程图：*js埋点、爬虫都可收集页面数据*MR也可以称为ETL，数据...

（2）source和sink详解