Spark开发错误锦集（持续更新）

原创

于 2020-09-19 11:18:57 发布

· 834 阅读

4 ·

版权

文章标签：

#spark #大数据

这篇博客汇总了Spark开发过程中遇到的各种错误，包括下载和解压Hadoop时的问题，Spark本地运行的配置，IDEA中SCALA插件安装错误，导入数据和使用Spark implicits的错误，Spark标识符颜色问题，打jar包缺少META-INF以及集群模式下端口配置的误解。并提供了相应的解决方案，如修改环境变量，编辑配置文件，选择合适的IDEA插件版本等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误一 `Failed to locate the winutils binary in the hadoop binary path`

1. 下载

hadoop-common-2.7.1-bin
https://download.youkuaiyun.com/download/groovier/9591226?utm_medium=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase

2. 下载（可选）

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/

3. 解压

tar解压报错没关系
我注释了 hadoop-config.cmd（可选）
@rem if not exist %JAVA_HOME%\bin\java.exe (
@rem echo Error: JAVA_HOME is incorrectly set.
@rem echo Please update %HADOOP_HOME%\conf\hadoop-env.cmd
@rem goto :eof
@rem )

hadoop-common-2.7.1-bin更新到bin目录（外面也放了一直找不到）