scalaUser的博客

运行原理：样例：/opt/spark/bin/spark-submit \--conf spark.num.executors=4 \--conf spark.executor.memory=16g \--conf spark.executor.cores=4 \--conf spark.debug.maxToStringFields=1024  \--conf spark.driver.memo...

前提：1、Ubuntu系统2、spark已经安装好过程：(修改配置文件，添加到Path中 。修改BASH配置，将Spark添加到PATH中，设置SPARK_HOME环境变量。)1、编辑~/.bash_profile或~/.profile文件，将以下语句添加到文件中 (根据自己spark的路径添加)export SPARK_HOME=/srv/sparkexport PATH=$SPARK_HOME...