大数据学习中出现的问题

1. spark 访问 hadoop 出现拒绝连接错误

 原因：hadoop 的 core-site.xml 文件中配置的是

<property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://localhost:9000</value>	
    </property> 

我们使用netstat -anlp | grep 9000 看下端口

如果我们在spark 中配置

 其中 hadoop1 是 主机名.

这样会报拒绝连接的错误。

因为9000是在127.0.0.1 下的，我们在spark配置的是 找 hadoop1(192.168.1.130)下的.

这样是找不到的，我们在配置core-site.xml 的时候，要配置成 hdfs://hadoop1:9000