- 博客(2)
- 收藏
- 关注
RSS订阅原创 大数据之-Flume
**大数据之Flume** 1.Flume概述 1.1 Flume的定义 Flume是一个高可用、高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于六十框架，灵活简单。 Flume主要作用： 1.2 Flume基础框架 Flume组成结构： 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的地。 Agent主要有3个组成部分，Source、Channel、Sink。 1.2.2 S...
2020-09-09 14:11:37
266
原创 大数据-Spark常见面试题
Spark常见面试题 1、什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？ 窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter 或者多个父RDD分区对应一个子RDD分区，如co-partioned join 宽依赖是一个父RDD分区对应非全部的子RDD分区，如groupByKey，ruduceByKey 或者一个父RDD分区对应全部的子RDD分区，如未经协同划分的join https://www.jianshu.com/p/736a4e628f0f 2、Transformat
2020-08-20 19:33:11
779
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人