Spark搭建历程-《sparkStreaming》1

最新推荐文章于 2024-11-04 14:33:38 发布

sinat_32176267

最新推荐文章于 2024-11-04 14:33:38 发布

阅读量391

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 大数据文章标签： SaprkStreaming

本文链接：https://blog.youkuaiyun.com/sinat_32176267/article/details/81738510

大数据同时被 2 个专栏收录

10 篇文章

订阅专栏

Spark

7 篇文章

订阅专栏

本文详细介绍了在虚拟机上运行Spark程序时遇到的环境配置问题及解决方案，特别是当使用YARN作为集群资源管理器时，如何正确设置HADOOP_CONF_DIR或YARN_CONF_DIR环境变量，确保Spark能够正确读取Hadoop配置。文章还提供了测试Spark安装是否成功的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在虚拟机上搭运行spark程序的时候：

 spark-submit  --queue media --class test.SparkStreamingDemo  --master yarn-cluster --executor-memory 2g  --executor-cores 2 --conf spark.yarn.submit.waitAppCompletion=false  ~/shengjunyang/etl-anal-1.0-SNAPSHOT-jar-with-dependencies.jar  localhost 9999

报错：

Exception in thread "main" java.lang.Exception: When running with master 'yarn-cluster' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
解决方法： hadoop，spark默认安装在usr/local目录下。搭建的教程可以参照厦门大学数据库实验室

通过下面命令可以测试spark是否安装成功：

环境变量配置

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
PATH=$PATH:$HIVE_HOME/bin:$HADOOP_HOME/bin

小技巧：

spark-submit 测试安装是否成功

cd /usr/local/spark
./bin/run-example SparkPi 2>&1 | grep "Pi is"

Shell中管道命令操作符为”|”，仅能处理前面的一个指令传出的正确输出信息，也就是标准输出的信息(没法处理错误信息)。然后传递给下一个命令，作为标准的输入。grep是过滤选出Pi is 的打印语句