本文探讨了在Spark中，对同一个RDD进行不同转换操作时，数据是否会被改变，以及persist或cache操作如何影响后续操作的数据状态。通过实例演示，展示了在不使用persist时，RDD的值不会被改变；而使用persist后，后续操作会共享同一份数据，导致数据状态受前序操作影响。
1、在同一个rdd上，做不同转换的操作时，并不会改变这个rdd上的值，也不会影响其他rdd上使用原数据的结果
case class Name(var name: String, var age: Int, sex: Int)
object DateTest {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val sc = new SparkContext(conf)
Logger.getLogger("org").setLevel(Level.WARN)
val data = List(Name("aaa", 1, 1), Name("bbb", 2, 0), Name("ccc", 3, 1))
val r1 = sc.parallelize(data)
r1.filter( r => {
if (r.sex == 1) {
r.name = ""
}
true
}).foreach(println)
println("--------------- ")
r1.filter( r => {
if (r.name.nonEmpty) {
r.age = 999
true
} else false
}).foreach(println)
}
}
测试结果：
Name(bbb,2,0)
Name(,1,1)
Name(,3,1)
---------------
Name(ccc,999,1)
Name(bbb,999,0)
Name(aaa,999,1)
2、*** 但是 *** 如果有persist或caches时，这个rdd的下游操作的是同一份原数据，并且后面的操作会受前面的影响
case class Name(var name: String, var age: Int, sex: Int)
object DateTest {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val sc = new SparkContext(conf)
Logger.getLogger("org").setLevel(Level.WARN)
val data = List(Name("aaa", 1, 1), Name("bbb", 2, 0), Name("ccc", 3, 1))
val r1 = sc.parallelize(data)
r1.persist()
r1.filter( r => {
if (r.sex == 1) {
r.name = ""
}
true
}).foreach(println)
println("--------------- ")
r1.filter( r => {
if (r.name.nonEmpty) {
r.age = 999
true
} else false
}).foreach(println)
}
}
测试结果：
Name(,1,1)
Name(bbb,2,0)
Name(,3,1)
---------------
Name(bbb,999,0)
扫一扫
1446
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
