flume
关注
分享
扫一扫
文章平均质量分 83
Mei憨憨
提及年少二字，应与平庸相斥
展开
-
Flume大数据集群安装
Flume大数据集群安装一 flume 的简介二 flume的环境准备三 flume的安装步骤四 运行测试flume五 遇见的问题和注意事项一 flume 的简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。flume的组合形式：Multiplexing the flow（选择分流）二原创 2021-11-26 10:28:52 · 3056 阅读 · 0 评论 -
SparkStreaming+kafka+flume实现日志的实时处理并且将数据实时更新数据库
SparkStreaming+kafka+flume实现日志的实时处理环境准备项目思路实验环境启动配置编写项目代码启动测试环境准备1 三台安装Hadoop的虚拟机2 flume的安装 参考flume的大数据集群安装3 kafka 安装参考kafka集群4 windows +ideal+mysql项目思路利用ideal产生实时的日志，利用log4j文件，将日志文件实时采集到flume上面，利用kafka来进行监听传输，通过sparkStreaming 对产生的日志文件进行计算,并且实时原创 2021-12-05 12:10:10 · 2850 阅读 · 0 评论