云祁QI

文章目录一、监控端口数据官方案例1.1 案例需求：1.2 需求分析：1.3 实现步骤：1．安装 telnet 工具2．判断 44444 端口是否被占用3．创建 Flume Agent 配置文件 flume-telnet-logger.conf4．先开启 flume 监听端口5．使用 telnet 工具向本机的 44444 端口发送内容6．在 Flume 监听页面观察接收数据情况二、实时读取本地文件到HDFS案例2.1 案例需求：2.2 需求分析：2.3 实现步骤：1．Flume 要想将数据输出到 HDFS，

文章目录一、复制和多路复用二、负载均衡和故障转移三、聚合四、自定义 Interceptor五、自定义 Source六、自定义 Sink一、复制和多路复用1）案例需求使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local File...

文章目录一、你是如何实现 Flume 数据传输的监控的二、Flume 的 Source，Sink，Channel 的作用？你们 Source 是什么类型？三、Flume 的 Channel Selectors四、Flume 参数调优五、Flume 的事务机制六、Flume 采集数据会丢失吗?一、你是如何实现 Flume 数据传输的监控的使用第三方框架 Ganglia 实时监控 Flume。二...

文章目录一、Flume 事务二、Flume Agent 内部原理三、Flume 拓扑结构1、简单串联2、复制和多路复用3、负载均衡和故障转移4、聚合一、Flume 事务二、Flume Agent 内部原理重要组件：1）ChannelSelectorChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating...

文章目录一、Flume 定义二、Flume 基础架构一、Flume 定义Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。为什么选用 Flume ?二、Flume 基础架构AgentAgent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。Agent 主要有 3 个部分组成，So...

文章目录一、初识 Flume二、安装 Flume三、简单案例实现(单节点实现)四、Flume Source1、netcat 源2、avro 源3、exec 源4、JMS 源5、Spooling Directory 源一、初识 FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume支持在日志系统中定制各类数据发送方，用于收集数据；...

文章目录一、启动 Kafka二、创建 Topic 消息队列三、查询 kafka 消息队列四、启动 consumer 监控窗口五、写 Flum 的自定义配置文件六、开启 Flume七、结果分析一、启动 Kafkakafka-server-start.sh /opt/soft/kafka211/config/server.properties 二、创建 Topic 消息队列kafka-top...

文章目录一、Flume 采集数据会丢失吗?二、Flume 与 Kafka 的选取？三、数据怎么采集到 Kafka，实现方式？四、flume 管道内存，flume 宕机了数据丢失怎么解决？五、flume 和 kafka 采集日志区别，采集日志时中间停了，怎么记录之前的日志？六、flume 有哪些组件，flume 的 source、channel、sink 具体是做什么的？七、为什么使用Flume？八...