qq_63961628的博客

MapReduce是一种可用于数据处理的编程模型，我们现在设想一个场景，你接到一个任务，任务是：挖掘分析我国气象中心近年来的数据日志，该数据日志大小有3T,让你分析计算出每一年的最高气温，如果你现在只有一台计算机，如何处理呢？我想你应该会读取这些数据，并且将读取到的数据与目前的最大气温值进行比较。比较完所有的数据之后就可以得出最高气温了。不过以我们的经验都知道要处理这么多数据肯定是非常耗时的。如果我现在给你三台机器，你会如何处理呢？

任务描述本关任务：根据编程要求，创建自定义函数，实现功能。相关知识为了完成本关任务，你需要掌握：自定义函数分类；自定义函数的实现方式；弱类型的 UDAF 与 强类型的 UDAF 区分；实现弱类型的 UDAF 与 强类型的 UDAF。.builder()Spark SQL 多数据源操作（Scala）任务描述本关任务：编写Parquet分区文件，并输出表格内容相关知识为了完成本关任务，你需要掌握：编程方式加载Parquet文件Parquet分区结构合并元数据刷新。

头歌实践教学平台 大数据编程实训答案

头歌实践教学平台 数据采集与处理技术 实训答案

头哥实践教学平台 数据采集与处理技术实训

头歌实践教学平台 Python程序设计 实训答案（三） educoder实训

头歌实践教学平台 Python程序设计实训答案（二）educoder实训平台

头哥实践教学平台-python程序设计-训练答案