数据仓库项目笔记2

业务需求:

* 1 清洗过滤: 去除不必要的字段和无效数据
* 2 数据解析: 解析数据为扁平格式
* 3 数据集成: 根据经纬度添加省市县信息
* 4 数据存储: 存储为parquet格式

整体流程：

* 读取之前生成好的GEO字典数据
* 将字典数据广播给出去
* 然后读取日志数据文件
* 将文件中的数据解析成JSON对象，再封装成case class
* 对数据集进行条件过滤
* 将结果数据集与GEO字典进行整合
* 将整合后的数据输出
* 同时将查询不到的字段去重后输出
* 请求高德地图解析字典中没有的数据，并将数据添加到GEO字典中

• 所用技术:

  • spark
  • json解析
  • 广播变量

• 所学:

  • shuffle : 一批数据需要分配到不同地方才能完成任务
  • spark运行机制: rdd的遇到action算子, 开始汇总rdd 从最后一个rdd往前推, 是否与前一个rdd有shuffle
  • 则切分stage, 一个stage(一段逻辑)中有多个逻辑相同task组成taskset 最后输出数据的task叫resultTask 其他叫shuffleTask stage类似

• mapPartitions和map的区别

  • mapPartitions 一个分区使用一个函数来处理
  • map 一条数据使用一个函数来处理

• dataset和dataset[row]区别

  • dataset是强类型 data[row]是弱类型 存储全部类型
  • 类似java中类和map关系, jsonobject 和 jsonobject得到自定义类关系

• 广播变量:

  • 一个executor使用一个广播变量, 基于序列化分隔发送到不同executor,然后每个executor下载其他executor中的序列化部分, 然后反序列化共这个executor中的所有task使用, 并实现端join

• 两个rdd join(copartition 不需要shuffle) 需要经过shuffle 是reduce端join 可造成数据倾斜

• task数量和分区数量相同(分区由block块决定)
  task 包含mapreduce中maptask和reducetask 即做任务分配又做shuffle数据准备或者做shuffle的拉取和做shuffle数据准备

• sparksql 默认shuffle 200个