Spark-Shell On Windows 10

最新推荐文章于 2024-04-15 21:40:55 发布

转载最新推荐文章于 2024-04-15 21:40:55 发布 · 182 阅读

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/pearma/blog/1580577

文章标签：

本文详细介绍如何在Windows环境下使用Spark Shell连接Spark集群。主要内容包括安装配置Hadoop和Spark、设置环境变量、解决常见问题及运行Spark Shell的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

答案是，当然可以。具体操作如下：

下载spark 2.2，然后在d:\spark下解开。记得设置环境变量

SPARK_HOME=d:\spark
YARN_CONF_DIR=d:\hadoop\etc\hadoop
PATH=%PATH%;%SPARK_HOME%\bin

kerberos认证很重要，如果在第一步能够连接集群，列出目录，理论上应该没有问题；如果选择了错误的用户，运行spark-shell，则会遇到无法启动container的问题。此时要去yarn上看日志，多半能看到用户非法之类的错误提示。
运行spark-shell，还可能遇到 Cannot run program "/etc/hadoop/conf.cloudera.yarn/topology.py"的问题。此时只需要找到core-site.xml文件，把其中相关部分注释掉即可。
```
<property>
<name>net.topology.script.file.name</name>
<value></value>
</property>
```
运行spark-shell的命令为: spark-shell --master yarn --deploy-mode client

转载于:https://my.oschina.net/pearma/blog/1580577