BigCabbageFy的博客

一、创建Maven项目 二、添加相关依赖（配置pom.xml文件） <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...

https://www.iwwenbo.com/spark-map-flatmap/ 讲解很透彻，留作笔记

最近正在看《Spark大数据处理：技术、应用与性能优化》这本书，然后对于最后一章的编程实战比较感兴趣。但是上面写的算法个人觉得还不是很简洁，无法体现出scala的优点，所以稍作了一些修改，仅供参考。 设计思路 首先统计WordCount的词频，将数据转化为（词，词频）的数据对，第二个阶段采用分 治的思想，求出RDD每个分区的Top K，最后将每个分区的Top K结果合并以产生新的集 合，在集合中统...

最近正在看《Spark大数据处理：技术、应用与性能优化》这本书，然后对于最后一章的编程实战比较感兴趣。但是上面写的算法个人觉得还不是很简洁，无法体现出scala的优点，所以稍作了一些修改，仅供参考。 设计思路 海量数据求中位数有很多解决方案。 假设海量数据已经预先排序本例的解决方案为：将 整个数据空间划分为K个桶。 第一轮，在mapPartition阶段先将每个分区内的数据划分为K个 桶，统计桶中...

最近正在看《Spark大数据处理：技术、应用与性能优化》这本书，然后对于最后一章的编程实战比较感兴趣。但是上面写的算法个人觉得还不是很简洁，无法体现出scala的优点，所以稍作了一些修改，仅供参考。 假设HDFS只存储一个标号为ID的Block，每份数据保存2个备份，这样就有2个机器存储 了相同的数据。 其中ID是小于10亿的整数。 若有一个数据块丢失，则需要找到哪个是丢失的 数据块。 在某个时间...

最近正在看《Spark大数据处理：技术、应用与性能优化》这本书，然后对于最后一章的编程实战比较感兴趣。但是上面写的算法个人觉得还不是很简洁，无法体现出scala的优点，所以稍作了一些修改，仅供参考。 Top K算法有两步，一是统计词频，二是找出词频最高的前K个词。 1.实例描述 假设取Top 1，则有如下输入和输出。 输入： Hello World Bye World Hello Hadoop B...