李子翔

hadoop伪分布式安装教程第一步:下载hadoop并上传到Linux（ubuntu）Apache官网链接如下：https://hadoop.apache.org/releases.html下载好后，使用WinSCP上传到Linux如对WinSCP有疑问：可点击这里https://editor.youkuaiyun.com/md/?articleId=106275272第二步:安装hadoop(操作都是在最高权限下执行的）命令 ：第三步：配置hadoop相关文件检查IP-主机映射文件ping 主机名（按Ctrl+C退出

lzx: ssh: connect to host lzx port 22: Connection timed out在hadoop中，启动start-dfs.sh时如果遇到上述问题提示，导致namenode启动不了。这是因为查IP-主机映射出了问题，简单来说就是IP地址写错了。解决：vi /etc/hosts，然后输入现在的ip地址即可（ip地址可使用命令ifconfig来查看）注：ubuntu，hadoop2.x...

第一步：配置Windows本地hadoop环境，教程如下：https://blog.youkuaiyun.com/weixin_46028577/article/details/106211239第二步：配置环境变量（注意：这里的变量值要和eclipse上配置的值要一样）第三步：创建，删除，上传和下载hdfs文件先在Linux下打开hadoop进程，其实只需要打开hdfs进程即可。连接成功后就可以随便进行操作了，没有权限限制。...

注意：路径可根据自己hadoop安装路径选择编写，博主hadoop为伪分布式部署启动所有hadoop进程脚本vi mystart-all.sh#!/bin/bash/usr/local/hadoop-2.8.5/sbin/start-dfs.sh/usr/local/hadoop-2.8.5/sbin/start-yarn.sh/usr/local/hadoop-2.8.5/sbin/mr-jobhistory-daemon.sh start historyserver关闭所有hadoop

hdfs上传文件时出现：put: Cannot create directory /user/root/2015. Name node is in safe mode.这是因为你已开启节点，就在上传文件到hdfs了，在刚开始启动的时候，Name node会进入安全模式，检查数据块是否有效。解决方法：稍微等待一下即可。...

WARN hdfs.DataStreamer: Caughtexceptionjava.lang.InterruptedExceptionhadoop-2.8.5上传文件到hdfs会出现中断异常，这是这个软件本身的bug,上传文件少的话不碍事，报错也无所谓，一样能上传成功。上传文件大且多的话，可能有点痛苦了，要等很久…...

注意：在执行hdfs命令前需要开启hadoop进程，操作的目标都是hdfs文件或与之有关（博主hadoop的部署是伪分布式的）要点：Linux能执行的一般操作文件命令在hdfs下也能执行，只需要对命令稍作修改即可，而hdfs也有自己专属操作命令在hadoop目录下：执行hdfs命令的范式：bin/hdfs dfs -具体操作指令 /目标hdfs文件路径（名称）1.查看hdfs文件目录内容bin/hdfs dfs -ls /目标hdfs文件路径（名称）2.创建hdfs文件目录内容bi

1.可能你Linux防火墙没关闭解决方法：关闭掉Linux（ubuntu）的防火墙sudo ufw disable2.Linux和window的hosts映射关系 ，不一致解决方法：分别检查Linux和Windows下的hosts配置文件，两个要一致。Linux(ubuntu)路径：vi /etc/hostsWindows路径...

这里主要处理的异常情况是：namenode,datanode,或者其他节点在“启动服务”后没有显示的情况（实况是没有启动）首先来分析一下出现这种状况的原因，这是很多新手都会犯的错误，原因也是多种多样的，在配置文件没有出错的情况下，最有可能是小伙伴们多次进行格式化了。***在这里说一下 ，在没有删除因格式化产生的文件前重新格式化是没有用的，hadoop不会覆盖重写已有文件！！！*** 而namenode，datanode等启动不全的原因是因为底层文件version的配置信息clusterID不一样导致的

连接如下：hadoop-2.8.5.tar.gz压缩包的链接

第1步：将导出的jar放入到Linux系统合适的位置(这里放在了hadoop下了)第2步：进入到hadoop目录下(例如：cd /usr/local/hadoop-2.8.5)第3步：执行调用jar的hdfs命令这里的DailyAccessCount.jar 是调用的jar（路径）名称，access.login.csv指的是输入文件（路径）名称；/output1是输出的（路径）名称...

使用eclipse创建MapReduce项目并导出可执行jar第1步：创建Map/Reduce项目若没有此选项，可参考我写的另一篇博客，关于配置本地hadoop环境的教程（链接如下）第2步：编写代码，处理异常第3步：导出jar包两次Next第4步：查看导出的jar包然后上传到Linux下执行即可第1步：创建Map/Reduce项目然后输入项目名称，finish即可若没有此选项，可参考我写的另一篇博客，关于配置本地hadoop环境的教程（链接如下）eclipse配置本地hadoop环境链接第2步：

使用eclipse配置windows本地hadoop环境，使用的是hadoop-2.8.5第1步：解压hadoo压缩在windows下解压缩hadoop压缩包（和Linux下的hadoop版本相同）第2步：配置eclipse将hadoop-eclipse-plugin-2.8.5.jar放入eclipse删除platform.xml文件设置本地hadoop路径增加Map/Reduceg功能区第3步：建立远程连接先在Linux下打开hadoop进程创建并填入连接信息查看是否连接成功配置成功了！！！第1步：解