weixin_49063354的博客

RDD的Transformation（转换算子） RDD整体上分为Value类型、双Value类型和Key-Value类型 1 value类型 创建包名：com.xiao_after.value 1.1 map()映射 1）函数签名： def map[U: ClassTag](f: T => U): RDD[U] 2）功能说明：参数 f 是一个函数，它可以接收一个参数。当某个RDD执行map方法时， 会遍历该RDD中的每一个数据项，并依次应用 f 函数，从而产生一个新的RDD。即，这个 新的RDD

RDD的创建与分区 1.RDD的创建 在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD、从外部存储创建 RDD、从其他RDD创建。 a）新建一个 maven 工程 SparkCoreTest b）添加 scala 框架支持 c）创建一个scala文件夹，并把它修改为Source Root d）在pom文件中添加： <dependencies> <dependency> <groupId>org.apache.spark</g

消除 idea 中 spark 代码的 info 信息 我们在 idea 中写 spark 代码时， 会产生很多的 info 信息 严重影响我们查看程序的运行结果。如下方法可以将控制台上的 info 信息消除。 ①先下载下面链接里面的 log4j.properties 文件： 链接：https://pan.baidu.com/s/1cE_5IOehLh3Fxlc7dER_rQ 提取码：rinw ②将 log4j.properties 拖入到 maven模块 SparkCoreTest 下的 src/mai

在 idea 上运行 scala 程序报错问题解决： 本文解决的 error 信息如下： 200922 181933 INFO SparkContext Running Spark version 3.0.0 200922 181933 ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io.IOException Could not locate executable nullbinwinutil

Spark入门 问1：Hadoop与Spark区别？ 答：Hadoop主要解决海量数据的存储和海量数据的分析计算；Spark是一种基于内存的快 速、通用、可扩展的大数据分析计算引擎。 问2：Spark的资源调度框架？ 答：Hadoop 的 Yarn 框架比 Spark 框架诞生的晚，所以 Spark 自己也设计了一套资源调 度框架。 问3：Hadoop与Spark框架对比？ 答：Hadoop MR框架：从数据源获取数据，经过分析计算，将结果输出到指定位置。核 心是一次计算，不适合迭代运算。 Spark框架