大数据错题

hadoop上传文件失败

解决方法：因为之前搭建了集群，所以在传文件之前要启动集群，
启动集群的代码如下：
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

上传文件后，如果重复上传文件，调用文件内容时，报出没有该文件的错误。

解决方法：
删除该文件，
rm (文件路径）

集群搭建的错误

修改文件时，在hadoop中输入代码时用了sudo vim mapred-site.xml
（文件 mapred-site.xml.template需要先重命名为mapred-site.xml）
然后hadoop就默认新建了一个mapred-site.xml文件。
解决方法：
在计算机文件按照 /usr/local/hadoop/etc/hadoop 路径找到mapred-site.xml.template文件


按照如上方法找到mapred-site.xml文件，并删除该文件。
按照如上方式打开mapred-site.xml.template 并修改里面的内容，同时保存退出修改其文件名字为mapred-site.xml。

hadoop中未找到命令

解决方法：
方法一
1.查看是否下载了。
2.查看路径
3.把路径放入 bashrc 文件
首先执行 vim ~/.bashrc，加入一行：

export PATH=$PATH:（文件路径）
4.保存后执行 source ~/.bashrc 使配置生效。
方法二：
在hadoop中跳转到下载文件的目录下：
命令：cd (路径）

INFO hdfs.DFSClient: Exception increateBlockOutputStream java.io.IOException:Bad connect ack with firstBadLink192.168.30.149:50010

原因：可能有节点的防火墙开着，尝试关闭防火墙

/etc/init.d/iptables stop ###关闭防火墙
然后 重启hadoop

错误现象：namenode in safe mode.

原因：hadoop进入安全模式。

解决方法：在shell中执行命令hadoop dfsadmin -safemode leave 使hadoop离开安全模式。

Xshell 和hadoop连接不上

查看/etc/hosts，/etc/hostname，/etc/network/interfaces 文件是否更改。如果改了，可能是虚拟机没有关机重启。

配置虚拟机网络后虚拟机打不开。

把设置里的网络打开查看网络状态中的以太网断开在连接 就可以了。

IntellijJ IDEA 中无法打包。

查看 Maven 中Dependencies的下载的包是否下好，如果没有下好，就去电脑文件中找到IntellijJ IDEA中Dependencies
中的包，把这些包删了在重新下一遍。