2503_91105521的博客

原创 大数据技术之Spark

StandAlone的原理?Master和Worker角色以独立进程的形式存在,并组成Spark运行时环境(集群)Standalone如何提交Spark应用？4040\8080\18080分别是什么?4040是单个程序运行的时候绑定的端口可供查看本任务运行情况Job\State\Task的关系?一个Spark程序会被分成多个子任务(Job)运行, 每一个Job会分成多个State(阶段)来 运行, 每一个State内会分出来多个Task(线程)来执行具体任务。