baidu_15113429的博客

前面学习了hadoop,在学习spark的时候,比较不解，spark是专门用来计算的框架，而hadoop可以用来分布式存储也可以通过MR来进行计算，spark虽然跟hadoop没有什么关系，但是spark其实是在hadoop上面做了优化，hadoop把中间写过卸载磁盘中，而spark把中间结果写在内存中，因此spark的计算更加快。 spark的计算是基于RDD的，RDD其实是一个链表类似的数据。

nohup /opt/app/spark-2.0.1/bin/spark-submit --master yarn --num-executors 200 --executor-cores 6 --executor-memory 12g ./test_spark.py > log.txt 2>&1 & nohup /opt/app/spark-2.0.1/bin/...