大数据(4a)Flume原理、安装、使用

Flume案例:实时采集python爬取的豆瓣最新电影 首先,让我们看一下本案例的背景:通过python爬虫抓取豆瓣最新上映的电影信息,抓取的信息通过flume传输到HDFS中。python的版本是3.6,flume的版本是1.8。 Python 爬虫程序讲解 (1)编写网页爬虫程序,首先要对网页进行访问,python中使用的urllib库,代码如下: from urllib import request resp = request.urlo... 阅读详情

0、先介绍一个Linux监控文件内容功能

Linux的tail命令可以监控文件内容变化,man tail可查看命令详情

我们开两个窗口,一边使用tail -F b.txt,另一边往文件b.txt追加内容

可以看到,追加的内容被实时打印出来了

1、Flume简介

  • 海量日志 采集、聚合、传输 的系统
  • 基于流式架构
  • 入门功能:实时监控【单个追加文件、目录下多个新文件、目录下的多个追加文件】
  • 官方教学:http://flume.apache.org/FlumeUserGuide.html
  • 下载地址:http://archive.apache.org/dist/flume/

官方架构图

主要概念说明备注
Agent是一个JVM进程主要包括【Source、Channel、Sink】
Source接收数据例如:监控文件
Channel缓冲区可以是:内存 or 磁盘
Sink输出数据例如:写到HDFS
Event数据传输的基本单元组成:Header(k=v)和Body(byte array)

2、安装

本文环境版本说明
Java1.8预先装好
Hadoop3.1.3预先装好
Flume1.9待安装,路径:/opt/flume
  1. 环境变量
vi /etc/profile.d/custom.sh
# Flume
export FLUME_HOME=/opt/flume
export PATH=$PATH:$FLUME_HOME/bin
source /etc/profile.d/custom.sh
  1. 解压、改名
tar -zxf apache-flume-1.9.0-bin.tar.gz -C /opt/
cd /opt
mv apache-flume-1.9.0-bin flume
  1. 解决和Hadoop的jar冲突(Hadoop3.1.3的guava版本是27)
cd $FLUME_HOME/lib
mv guava-11.0.2.jar guava-11.0.2.jar.bak
  1. 日志配置(可选)
vi $FLUME_HOME/conf/log4j.properties

3、简单使用

常用语法:flume-ng <command> [options] ...
常用示例:flume-ng agent -n anent名 -c 配置文件目录 -f 配置文件

大类名称说明
命令agent运行一个Flume agent
命令help显示帮助
命令version显示版本
全局选项--conf <conf>
或-c <conf>
使用<conf>目录里的配置
agent选项--name <name>或-n <name>agent名(必须项)
agent选项--conf-file <file>
或-f <file>
指定配置文件

3.1、监控单个追加文件

1 编写Flume代码

cd /root
vi b.flume

exec source

# 定义agent名字:a1

# channel名称
a1.channels = c1
# channel类型:内存(断电可能会丢失数据)
a1.channels.c1.type = memory

# source名称
a1.sources = r1
# source类型
a1.sources.r1.type = exec
# source的exec类型下的Linux命令
a1.sources.r1.command = tail -F /root/b.txt
# source把数据传给哪些channels
a1.sources.r1.channels = c1

# sink名称
a1.sinks = k1
# sink类型:logger是打印到终端,另外可选hdfs、hive、kafka……
a1.sinks.k1.type = logger
# sink接收指定名称的channel(只能接收1个,所以channel没加s)
a1.sinks.k1.channel = c1

2 启动Flume,-Dflume.root.logger=INFO,console是将INFO级别的日志打印到控制台

flume-ng agent \
-n a1 \
-c $FLUME_HOME/conf/ \
-f b.flume \
-Dflume.root.logger=INFO,console

3 开两个窗口,一边追加内容到被监控文件,另一边查看

echo ------------ >> /root/b.txt
echo 111111111111 >> /root/b.txt

3.2、监控目录下的多个追加文件(并写到HDFS)

1、创建文件夹

cd /root
mkdir data1 data2

2、编写Flume代码

常用配置属性默认值说明
Taildir Sourcefilegroups文件组,空格分隔
Taildir Sourcefilegroups.<filegroupName>文件组下的绝对路径,支持正则表达式
HDFS Sinkhdfs.filePrefixFlumeData给上传到HDFS的文件添加前缀
HDFS Sinkhdfs.fileSuffix给上传到HDFS的文件添加后缀
HDFS Sinkhdfs.fileTypeSequenceFileSequenceFile不支持压缩,CompressedStream可压缩并要求设置编码解码器
HDFS Sinkhdfs.codeC压缩所用的编码解码器
HDFS Sinkhdfs.batchSize100积攒多少个 events,才冲洗到HDFS
HDFS Sinkhdfs.idleTimeout30每过多少秒生成一个新的文件
HDFS Sinkhdfs.rollCount10多少个 events 使文件的滚动,设0就是不按照 events数 滚动
Memory Channelcapacity100Channel 最多能容多少个 events
Memory ChanneltransactionCapacity100Channel 每次汇给 sink 的最大 events数
vi c.flume
# 命名,组件绑定
a3.sources = r3
a3.sinks = k3
a3.channels = c3
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

# channel
a3.channels.c3.type = memory

# Taildir Source
a3.sources.r3.type = TAILDIR
# json格式的文件,记录文件尾部位置,用于断点续传
a3.sources.r3.positionFile = /root/position.json
# 被监控的文件组,可以多目录(单磁盘传输速度有限,多目录分布在多磁盘 可并行)
a3.sources.r3.filegroups = f1 f2
a3.sources.r3.filegroups.f1 = /root/data1/a.txt
a3.sources.r3.filegroups.f2 = /root/data2/.*log.*

# HDFS Sink
a3.sinks.k3.type = hdfs
# 写到HDFS的哪里,可使用时间通配符
a3.sinks.k3.hdfs.path = hdfs://hadoop100:8020/flume/%Y%m%d/%H
# 是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 2
# 设置滚动的时间单位
a3.sinks.k3.hdfs.roundUnit = minute
# 每个文件的滚动大小,单位byte,建议略小于134217728(HDFS默认块大小为128M)
a3.sinks.k3.hdfs.rollSize = 134217700
# 是否使用本地时间戳
# 不设会报错:Expected timestamp in the Flume event headers, but it was null
a3.sinks.k3.hdfs.useLocalTimeStamp = true
# 设置HDFS文件类型,DataStream不乱码
a3.sinks.k3.hdfs.fileType = DataStream

3、启动Flume

flume-ng agent -n a3 -c $FLUME_HOME/conf/ -f c.flume -Dflume.root.logger=INFO,console

4、往被监控目录写内容

echo aaaa >> data1/a.txt
echo bbbb >> data1/b.txt
echo cccc >> data2/c.log
echo dddd >> data2/d.json

5、查看HDFS

3.3、自定义拦截器(Java代码)

1、基于3.1、监控单个追加文件进行修改
在这里插入图片描述

2、pom.xml配置依赖和插件

<dependencies>
    <!-- Flume;其中scope设置为provided,打包时不用打包Flume,因为可以用服务器的那个Flume -->
    <dependency>
        <groupId>org.apache.flume</groupId>
        <artifactId>flume-ng-core</artifactId>
        <version>1.9.0</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

3、创建a.b.c.MyInterceptor类,自定义业务逻辑(此处是筛选A开头的数据)

package a.b.c;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.List;

public class MyInterceptor implements Interceptor {
    // 初始化
    @Override
    public void initialize() {}

    // 处理单个Event
    @Override
    public Event intercept(Event event) {
        // 取出数据
        byte[] body = event.getBody();
        String data = new String(body);
        // 业务逻辑:筛选开头为A的数据
        if (data.startsWith("A")) {
            return event;
        } else {
            return null;
        }
    }

    // 处理批次的Event
    @Override
    public List<Event> intercept(List<Event> events) {
        // 过滤空数据
        events.removeIf(event -> intercept(event) == null);
        return events;
    }

    // 关闭
    @Override
    public void close() {}

    public static class Builder implements Interceptor.Builder {
        // 创建自定义拦截器对象
        @Override
        public Interceptor build() {
            return new MyInterceptor();
        }

        // 获取配置
        @Override
        public void configure(Context context) {}
    }
}

4、打包

5、上传到Flume的lib文件夹下,上传后检查一下

ll $FLUME_HOME/lib | grep SNAPSHOT.jar

6、加入拦截器,写全类名+内部类

vi b.flume
# 拦截器(内部类使用$符号)
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = a.b.c.MyInterceptor$Builder

7、开两个窗口,一边追加内容到被监控文件,另一边查看(可以看到:不是A开头的数据会被拦截掉)

echo AAAAAAAAAAAAAAA >> b.txt
echo BBBBBBBBBBBBBBB >> b.txt

4、附录

en🔉cn
flumefluːm水道
sourcesɔːrs水源;来源
sinksɪŋkv. 下沉
transactiontrænˈzækʃnn. 交易;事务;办理;会报
flushflʌʃv. 使发光;冲洗;使暴露
codec'kodɛk编码解码器
triggerˈtrɪɡərn. 触发器;v. 触发
interceptˌɪntərˈseptvt. 拦截;窃听;n. 拦截;[数] 截距;
builderˈbɪldərn. 建筑者;建立者
大数据之Flume Flume是Apache提供的分布式日志采集系统,具备高可用、高可靠性。其核心架构包括Source(数据接收)、Channel(缓冲区)和Sink(数据输出)三个组件。Source支持多种日志格式,如netcat、exec等;Channel分内存和文件两种类型,分别用于不同可靠性需求;Sink可将数据写入HDFS、HBase等存储系统。Flume以Event为数据传输单元,包含Header和Body两部分。安装过程包括解压、配置环境变量等步骤。通过入门案例演示了如何监控端口数据和实时采集Hive日志,展示了 阅读详情

相关推荐

大数据新视界 --大数据大厂之大数据实战指南:Apache Flume 数据采集的配置与优化秘籍

本文深入介绍 Apache Flume,涵盖其定义、特点、工作原理、安装部署、配置、高级功能及优化策略。包括自定义拦截器、多 Agent 级联,性能与可靠性优化,经典案例分析,与 Spark、Flink 集成,大规模分布式系统应用,实际问题解决及性能测试等内容。为大数据采集提供全面指导,助力开发者高效利用 Flume 进行数据采集与处理。

【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 9 | 博客之星 TOP12 优快云 首位四榜(原力榜 / 作者周榜 / 领军人物 / 综合热榜)榜首,破平台纪录! 苏州地区全榜霸榜,感恩全网十多万粉丝同行! 5195

数字化转型-4A架构(业务架构、应用架构、数据架构、技术架构)

业务架构定义企业战略、业务流程与组织能力,对齐客户需求与业务目标;应用架构规划支撑业务的核心系统与功能模块,实现端到端协同;数据架构确保各系统间的数据能够准确、一致地流动(如统一商品编码、实时库存同步);通过技术架构选择合适的技术工具和基础设施(如云计算平台、微服务框架)。公众号中如下的图片,很好的体现了如同人体的“骨骼-肌肉-神经-血液”系统的4A 架构体系。

qq_40821260的博客 6135

大数据技术之_32_大数据面试题_01_Hive 基本面试 + Hive 数据分析面试 + Flume + Kafka 面试

大数据技术之_32_大数据面试题_01一、Hive 基本面试1、什么是 metastore2、metastore 安装方式有什么区别3、什么是 Managed Table 跟 External Table?4、什么时候使用 Managed Table 跟 External Table?5、hive 有哪些复合数据类型?6、hive 分区有什么好处?7、hive 分区跟分桶的区别8、hive 如何动...

黑泽君 3366

大数据开发笔记(六):Flume基础学习

Flume基础 1、Flume是什么? Flume是数据采集,日志收集的框架,通过分布式形式进行采集,(高可用分布式) 本质:可以高效从各个网站服务器中收集日志数据,并且存储到HDFS、hbase 2、Flume可以对接的数据源? Console、RPC、Text、Tail、Syslog、Exec等 3、Flume接受的数据源输出目标? 磁盘,hdfs,hbase, 经过网络传输kafka data->flume->kafka->spark stre...

专注大数据与人工智能技术分享,欢迎私信加群互相学习! 5119

flume系列之:python读取flume配置文件,并把配置写入到zookeeper节点,再根据写入到zookeeper中的配置启动flume agent

flume系列之:python读取flume配置文件,并把配置写入到zookeeper节点 更多相关内容请参考博主下面几篇技术博客: flume系列之:flume配置写入zookeeper节点,根据zookeeper中flume配置启动flume agent Zookeeper入门之三:客户端命令行操作详解 python系列之:kazoo连接Zookeeper操作Zookeeper Zookeeper系列之:读取配置文件把配置写入zookeeper节点,查看zookeeper节点数据 ......

zhengzaifeidelushang的博客 1807

flume的安装和配置

Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。本试验就是通过学习flume工具的安装,为后面学习flume实现对数据信息的采集以便于解决实际中存在的问题打下基础。熟练flume的安装和配置,理解flume的原理和应用本次环境是:Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3+f

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 1万+

python分布式日志收集系统_分布式日志收集系统Flume

Flume简介Flume是一个分布式的、高可用的海量日志采集系统。它支持对日志数据的发送方、接收方进行定义,可将多种来源的日志数据写到指定的接收方,如:文本、HDFS、Hbase等。我认为Flume最让我称赞的就是,可以在不干涉已有系统运行的情况下,无侵入地对采集到该系统的日志信息。Flume的数据流由event(事件)贯穿始终,event是Flume的基本数据单位,它携带日志数据(字节数组形式)...

weixin_39756445的博客 524

flume通过thrift协议收集日志-Python

flume通过thrift协议收集日志-Python。博客地址:http://blog.youkuaiyun.com/wangshuwei5/article/details/48902757

大数据学习——Flume入门

文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据(官方案例)Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、

5akura's Blog 3365

Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等

Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等

使用IDEA通过flume上传本地文件到Hdfs-附件资源

使用IDEA通过flume上传本地文件到Hdfs-附件资源

大数据技术之Flume(超级详细)

Flume 是 Apache Software Foundation(ASF)的一个项目,用于高可靠、可扩展的大数据日志收集、聚合和传输。它通常被用于将分布式的、大规模产生的数据从各种源头(如Web服务器、应用程序日志等)采集到数据存储和处理系统(如Hadoop)中。

专注 AI、大数据、Python、爬虫、数据分析可视化、机器学习、推荐算法、知识图谱、大模型应用与全栈系统开发,长期沉淀真实项目案例、源码解析、系统设计、部署经验与工程化实践,分享可运行、可复用、可落地的技术方案。 5287

地理空间坐标系统-不同椭球基准间的坐标转换

基于同一个椭球基准,可以构建三类地理空间坐标系:大地球面坐标系、大地空间直角坐标系、大地投影坐标系。由于坐标原点和椭球长短半径等都相同,这三类坐标系之间可以通过无损的数学方法相互之间进行转换。那么现在问题来了,不同椭球基准(在全球范围来看存在成百上千的椭球基准)之间的坐标怎么转换?比如,北京54、西安80、国家2000,特别是在我国,现在主推国家2000坐标系,那么如何将历史的测绘成果(北京54和...

技术改变世界 8336

大数据编程技术基础实验八:Flume实验——文件数据Flume至HDFS

大数据技术基础实验八,学习安装部署Flume并将写入Flume的文件数据上传至HDFS。

北天的博客 4455

低供电电压CMOS偏置电路分析(有些类似于三支路电流源)

1、偏置电路原理图以及仿真结果 电路电流分析:Ip=Ip1=Ip2=Ip3,那么 Ip=12μnCoxWL(IpR−VTH)2 I_p=\frac{1}{2} μ_nC_{ox}\frac{W}{L} (I_{p}R-V_{TH})^2 Ip​=21​μn​Cox​LW​(Ip​R−VTH​)2 解出方程式即可得到参考电流及参考电压 2、电路电源抑制比PSRR分析 这里为了方便,小信号前都不加△ 首先做一个近似,由于gmRo>>1,直接将VDD变化导致的P3管漏级电压变化与VDD变化量做相等

qq_46579389的博客 2910

超声信号处理——硬件电路中的混频应用

本文介绍了超声多普勒系统的信号处理原理。系统通过波形振荡器产生高频信号,经换能器转换为超声波发射,接收反射信号后与原始信号混频,利用三角函数的积化和差特性产生包含多普勒频移的低频差频信号和高频和频信号。通过低通滤波器滤除高频成分后,即可获得纯净的多普勒信号。这种处理方法将MHz级高频信号转换为可听低频信号,降低了系统复杂度与成本。数学推导表明,差频信号频率正好

fcxgfdjy的博客 1125

Flume最简单使用

Flume最简单使用教程

lydms的博客 1万+

信号完整性之阻抗(五)

一、什么是阻抗 阻抗的概念是从高中或者初中大家可能就会接触到,没想它一直陪伴我十年了。在我的印象中,提到阻抗我可能就会想到电阻,这样的思想局限也限制了我平常思考问题。所以今天也想把阻抗这个概念在顺理一遍,有错误或者欠缺的地方希望大家指正。 1.什么是阻抗: ==在具有电阻、电感和电容的电路里,对电路中的电流所起的阻碍作用叫做阻抗。阻抗常用Z表示,是一个复数,实部称为电阻,虚部称为电抗,其中电容在电路中对交流电所起的阻碍作用称为容抗 ,电感在电路中对交流电所起的阻碍作用称为感抗,电容和电感在电路中对交流电引

刘小同学的博客 2587

Flume原理详解

Flume处在大数据框架中的数据传输层,主要解决数据从其他服务器传输到大数据集群的问题 一、Flume概述 1.1 Flume定义   Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume基于流式框架,灵活简单。目前移交给Apache维护——Flume官网。   官网明确说了Flume的工作对象是log data,所有不能传输视频、图片等二进制文件。Flume在生产环境中的数据更多来源于java后台日志数据或者爬虫数据,它们大多是在本地文件系统且一般.

小王是个弟弟 1412

CLion for Mac(m1)配置GCC编译器

条件:电脑已经下载过XCode 一. 下载HomeBrew homebrew是一款macos,linux下的包管理工具,我们需要使用他来下载GCC 下载方法: 1.打开终端(terminal) 2.输入 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ps.有可能会遇到的问题 我当初下载挂了VPN,优快云上还有很多解决问题的方法,可以将错误信

supermario19的博客 7847

Matlab中eig内置函数转为C语言

本文记录一下如何将MATLAB中的eig函数转为C语言,即通过C语言求解矩阵的特征值与特征向量。[V,D]=eig(Rx)中V为矩阵Rx的特征向量,D为矩阵的特征值。其中Rx维度为12*12的复矩阵。 首先在MATLAB端创建入口函数保存为eigvalue.m: 打开MATLAB Coder,添加入口函数: 3.在定义输入类型窗口中,需要添加输入数据来训练...

u011441044的博客 3517

大数据之Flume(二)

大数据之Flume(二)3. Flume进阶3.1 Flume 事务3.2 Flume Agent 内部原理3.3 Flume 拓扑结构3.3.1 简单串联3.3.2 复制和多路复用3.3.3 负载均衡和故障转移3.3.4 聚合3.4 Flume企业开发案例3.4.1 复制和多路复用3.4.2 负载均衡和故障转移3.3.4 聚合3.5 自定义Interceptor3.6 Flume 数据流监控3.6.1 Ganglia的安装与部署3.6.2 操作Flume测试监控 之前一节分享是基础的内容,今天来讲解一下

二锅头的博客 6734

第二十届全国大学生智能车竞赛-地瓜机器人智慧医疗挑战赛技术解析与实战指南

本文深入解析了第二十届全国大学生智能车竞赛-地瓜机器人智慧医疗挑战赛的核心技术。内容涵盖从零搭建数字孪生环境、实现AI视觉任务(二维码识别、引导线追踪、目标检测)、在边缘设备部署轻量化大模型进行图生文描述,到遥操作与自主控制的平滑切换,并提供了基于ROS2的系统集成与赛场实战指南,助力参赛者高效备赛。

weixin_29252171的博客 2782

Flume入门指南:大数据日志采集的秘密武器

Flume是一个分布式、可靠的海量日志采集系统,在大数据生态中扮演关键角色。文章深入解析了Flume的核心组件:Agent(核心引擎)、Source(数据入口)、Channel(数据缓冲区)、Sink(数据出口)和Event(数据单元),并通过电商平台的实例说明其工作原理。详细介绍了Flume的安装配置步骤,包括环境准备、下载解压、配置文件编写和启动测试。最后展示了两个典型应用案例:实时监控文件传输到HDFS和监听目录处理新文件,并总结了Flume的高可靠性、可扩展性等优势,展望了未来发展。

£菜鸟也有梦的博客 1972

撸毛笔记-电信营业厅 v5.03

电信营业厅 v5.03签到和完成部分金豆任务, 喂宠物7天,15天,28天连签抽奖, 宠物等级权益兑换自己设置电信的服务密码, 把 手机号#服务密码 填到变量里:每天运行一两次const $ = new Env("电信营业厅");

xiaoshun007的专栏 4500

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Flume之:一、概述及安装部署

Flume概述及安装部署 文章目录Flume概述及安装部署一、概述1. Flume定义2. flume的组成架构3. Flume拓扑结构4. Flume Agent内部原理二、Flume的安装1. Flume安装地址2. 安装部署Q:Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty ...

落落free的博客 543

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

上一篇: 大数据(7a)Scala入门和安装
下一篇: 大数据(7b)比较Python和Scala语法
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值