
spark
普通网友
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark学习笔记
前面学习了hadoop,在学习spark的时候,比较不解,spark是专门用来计算的框架,而hadoop可以用来分布式存储也可以通过MR来进行计算,spark虽然跟hadoop没有什么关系,但是spark其实是在hadoop上面做了优化,hadoop把中间写过卸载磁盘中,而spark把中间结果写在内存中,因此spark的计算更加快。 spark的计算是基于RDD的,RDD其实是一个链表类似的数据。原创 2016-11-09 16:20:13 · 361 阅读 · 0 评论 -
spark初步学习
nohup /opt/app/spark-2.0.1/bin/spark-submit --master yarn --num-executors 200 --executor-cores 6 --executor-memory 12g ./test_spark.py > log.txt 2>&1 & nohup /opt/app/spark-2.0.1/bin/...转载 2019-03-28 20:22:39 · 233 阅读 · 0 评论