嘿！没错，我是李先生

spark historyserver

相同点 standalone是spark自身携带的资源管理框架，yarn是hadoop中的资源管理框架。都是对核心和内存进行管理和分配。 不同点 底层实现方式不一样。standalone是比较简单的资源管理，给application分配核心时，分配多少就占用多少，但核心和内存分配自由度大。而yarn是以container为单位分配的，粒度较粗，当然可以自行设置container中资源的大小。yarn中有fifo调度器，容量调度器，公平调度器这三种资源分配策略，可以动态实现资源的扩缩，更灵活，更重。 另外，s

目录一、算法二、代码 一、算法 二、代码 package org.apache.spark.examples import scala.math.random import org.apache.spark.sql.SparkSession object SparkPi { def main(args: Array[String]): Unit = { val spark = SparkSession .builder.master("local[*]") .appN

cd /usr/local/program/spark/default/bin ./spark-submit --class org.apache.spark.examples.JavaWordCount --master spark://LBING:7077 /usr/local/program/spark/default/examples/jars/spark-examples_2.12-3.0.1.jar /usr/local/program/spark/default/examples/src/ma

local模式 代码： package top.lbing.hello; public class Hello { public String sayHello() { return "Hello Maven"; } public static void main(String[] args) { System.out.println(new Hello().sayHello()); } } 提交： # $SPARK_H

版本： 系统版本：ubuntu 1804 jdk：openjdk 11.0.7 spark-3.0.0-bin-hadoop2.7.tgz 步骤： 1 的下载安装包： wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop2.7.tgz 2 解压并建立软连接： # 到项目目录 tar -xzvf spark-3.0.0-bin-hadoop2.7.tgz mkdir /usr/loc