不断挑战中！！！

在ide的本地开发都是好的，但是使用spark-submit提交到集群时出现了问题。后面发现在开发环境中使用了maven来构建项目，所以配置的spark版本是2.1.0，scala版本是2.11.11，hadoop是2.7.2，kafka是2.1版本的，本地调试时能正常消费kafka生成的数据进行计算。    但是使用spark-submit提交到搭建的集群环境时出现了问题，先是出现了classN...

错误原因是内存缺少资源如果是master使用yarn-client模式则会读取conf/spark-env.sh中的配置。如果是master使用yarn-cluster模式则会读取conf/spark-default.conf中的配置。我的虚拟机内存只有1g，所以spark-env.sh配置export SPARK_WORKER_MEMORY=800m  但是在我执行spark-submit的时候...

在运行spark-submit时会报错，是因为内存不足导致的，但是配置了driver-memory和executor-memory时都不行，报错：ERROR SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memory 468189184 must be at leas...