Hadoop启程

Hadoop配置

软件下载和解压

阿里云服务器，用WinSCP上传了hadoop-2.7.4.tar.gz和jdk-8u271-linux-x64.tar.gz两个压缩包(链接打不开的兄弟去官网搜一下吧0.0)。选择自己的目标目录进行解压。
解压jdk之后记录自己的路径位置，使用pwd命令获取当前路径，方便后面再配置文件中进行修改。

打开/etc/profile 在结尾处进行如下配置，可以顺便把Hadoop的配置信息一起写了

配置完成后，利用source /etc/profile命令让配置信息生效。执行java -version 查看是否配置成功。执行hadoop命令，查看hadoop配置信息是否正确。

例程word count

进入Hadoop目录，创建testinput文件夹，创建test.input文件。再文件中输入字符串

输入自己的文本，保存并退出

执行 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount testinput testoutput 命令。并利用cat testoutput/*查看单词统计结果


------------------------------手动分割线-------------------------------------------------------------
以上是在单机模式下运行。下面配置伪分布式的时候遇到了大问题！！！！
首先是按照官网的推荐配置修改etc/hadoop/core-site.xml和etc/hadoop/hdfs-site.xml两个配置文件。注意此处的etc指的是Hadoop安装目录下的etc而不是Linux系统目录的etc
官网配置链接

在执行sbin/hadoop-daemon.sh start namenode 命令时，用jps无法查看到启动的进程说明启动失败，日志文件默认的输出路径，
上面的$HADOOP_HOME参数在文章开头的配置中配置的。

找到日志文件查看，为了方便查看可以下载到本地。错误信息如下：提示NameNode的URI无效。

查了一大顿发现自己在配置文件中的defaultFS拼错了。吐血。。。。。改过来之后任然报错

提示路径不正确，打开hdfs-site.xml发现dfs.namenode.name.dir的value属性写错了。tmp写成了temp。这里官网是没有进行配置的haixzzy的博客https://blog.youkuaiyun.com/haixzzy/article/details/17241381提到Hadoop2.2中存在的问题可能需要自己写绝对路径不能使用${}形式的变量替换。我改的时候自己路径没有写对。。。

修改为正确路径后，进入Hadoop所在路径，执行sbin/hadoop-daemon.sh start namenode命令，并用jps查看namenode线程是否启动：总算成功了。

最后再试试，2.7.4版本中是否能用可以＄{}变量形式进行配置

此时报错：提示URI存在权限组件？没太懂啥意思。

看到weixin_34241036老哥的博客，试着把前面的file://删除，问题解决！！

启动成功。利用ip地址+端口访问云服务器

今天任务结束，配环境这件事是真的太劝退了。。。