spark：随机学习杂记--21_map(line => line.split(" ").size)-优快云博客

本文链接：https://blog.youkuaiyun.com/fenger1943/article/details/44892705

本文介绍了Apache Spark的高级特性和使用技巧，包括如何找出字符串中最长的单词、MapReduce应用、并行集合的创建、函数传递方法、手动管理RDD缓存、流处理中的flatMap操作等，并提及了Spark SQL对JSON数据的支持以及与Hive的集成。

这两天休息了一下，买的书也到了···这两天看了一遍spark官方的文档，发现原来视频上老师讲的知识大部分就是官方文档上案例和解析，下面总结着写一下在以前老师没讲过的知识。

1.LiMing LiLei HanMeiMei Poly Sendoh Akria XiMen

----------------------------------------------------------------------------------------选出单词中字母最多的那个

xx.textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)
或者：

xx.textFile.map(line => line.split(" ").size).reduce((a, b) => Math.max(a, b))// import java.lang.math

2.MapReduce

-----------------------------------------------------------------------------------------

val wordcounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)

3.并行集合

-----------------------------------------------------------------------------------------

val data = Array(1, 2, 3, 4, 5)
val distData = sc.parallelize(data)

4.传递函数到spark

-----------------------------------------------------------------------------------------有两种方式

a：匿名函数（Anonymous， function， Syntax）

b: 全局单例对象里的静态方法，例：

object MyFunc {
   def func1 (s:String) : String = {```}
}
   myRdd.map(MyFunc.func1)

5.启用spark的隐式转换：org.apache.spark.SparkContext._

6.手动删除数据：spark自动利用最近最少使用原则删除老旧数据，也可手动 RDD.unpersist().方法

7.（spark streaming）flatMap是一个一对多的DStream操作（spark：RDD，sparkstreaming：DStream）

8.updateStateByKey操作允许不断用新信息更新的同时保持任意状态

9.Transform操作：？？？

10.rdd.foreach Partition 方法：？？？

11.Checkpointing：Sparkstreaming需要checkpoint足够的信息到容错系统中以便系统从故障中恢复//P45

12.spark1.2引入新的特征：write ahead logs 和 Reliable Receiver，实现零数据丢失及exactly-once协议

13.Json数据集：Spark SQL 能自动推断Json数据集模式.为其加载一个SchemaRDD

a：jsonFile

b：jsonRDD

14.Spark SQL支持从Apache Hive 中读出和写入数据

-----------------------------------------------------------------------------------------------------------------

还有一些框架和函数，在图书馆借到了一本《spark大数据处理》，买的《apache spark源码剖析》也到货了

借用《盗墓笔记》的经典台词：没时间了···

《冰与火之歌》：凛冬将至···