
要FINISH的!!!
ichsonx
be a better PM && SA && Programmer.......
展开
-
spark的核心思路、适用场景是什么?
1.Spark的核心思路是什么? 2.Spark的适用场景是什么? 首先,MapReduce-like是说架构上和多数分布式计算框架类似,Spark有分配任务的主节点(Driver)和执行计算的工作节点(Worker) 其次,Low-latency基本上应该是源于Worker进程较长的生命周期,可以在一个Job过程中长驻内存执行Task,减少额转载 2015-03-22 21:09:25 · 5192 阅读 · 0 评论 -
Spark1.0.0 运行架构基本概念
问题导读: 1、Spark Application的运行架构有哪些组成? 2、Spark on YARN 的运行过程是什么? 前言 Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application一般都是在集群中运行,比如Spark Standalone、YARN、mesos转载 2015-03-24 10:05:48 · 1072 阅读 · 0 评论 -
Spark中文手册10:spark部署:提交应用程序及独立部署模式
问题导读 1.spark-submit各个参数的含义是什么? 2.集群启动都包含哪些脚本? 3.如何实现连接一个应用程序到集群中? Spark中文手册-编程指南 Spark之一个快速的例子Spark之基本概念 Spark之基本概念 Spark之基本概念(2) Spark之基本概念(3) Spark-sql由入门到精通 Spark-sql由入门到精通续 sp转载 2015-03-24 17:00:04 · 13023 阅读 · 0 评论