spark单机环境下运行一些解决问题

最新推荐文章于 2024-03-21 12:17:01 发布

转载最新推荐文章于 2024-03-21 12:17:01 发布 · 287 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/rgtv-wilkins/p/5083008.html

文章标签：

#大数据 #java

本文详细介绍了Hadoop安装过程中遇到的三个常见错误及其解决办法：winutils.exe未找到、端口冲突和主机未设定AmasterURL，通过提供具体步骤帮助开发者顺利配置Hadoop环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ERROR1、hadoop依赖

[ERROR] - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解决办法：

1) 下载所需的winutils.exe
http://social.msdn.microsoft.com/Forums/windowsazure/en-US/28a57efb-082b-424b-8d9e-731b1fe135de/please-read-if-experiencing-job-failures?forum=hdinsight

2)存放至一个路径如——d:\winutil\bin

3)文件中加入System.setProperty("hadoop.home.dir", "d:\\winutil\\")

2.ERROR2、端口冲突
java.net.BindException: Address already in use: Cannot bind
解决办法：打开任务处理器，关闭java进程

  3.ERROR3、主机未设定
 A master URL must be set in your configuration
解决办法：
代码中：val conf = new SparkConf().setAppName("Word Test")
改成：val conf = new SparkConf().setMaster("local[*]").setAppName("Word Test")

转载于:https://www.cnblogs.com/rgtv-wilkins/p/5083008.html