函数式编程思维
函数式编程关心数据的映射,命令式编程关心解决问题的步骤;
便于整体性能优化;(单次映射在矩阵上的优化;多次映射的DAG优化)
特点:输入数据不可写,返回新创造的结果;好处:无状态,所以无资源争抢,不需要锁,也不会死锁;
Spark采用了函数式编程的思想:
1. map、filter、reduce等函数,是无状态的;
2. RDD数据,是只读不可改写的;
3. lazy-evaluation
函数式编程关心数据的映射,命令式编程关心解决问题的步骤;
便于整体性能优化;(单次映射在矩阵上的优化;多次映射的DAG优化)
特点:输入数据不可写,返回新创造的结果;好处:无状态,所以无资源争抢,不需要锁,也不会死锁;
Spark采用了函数式编程的思想:
1. map、filter、reduce等函数,是无状态的;
2. RDD数据,是只读不可改写的;
3. lazy-evaluation