【Spark+NLP】8、ubuntu18安装j和配置hadoop + 安装ssh

1、前提：需要安装jdk，本人使用1.8版本，安装方法可往前翻。

                hadoop安装部分本人参考：https://blog.youkuaiyun.com/qjk19940101/article/details/70544197

2、下载软件压缩包：

官网：https://www.howtoing.com/how-to-install-hadoop-in-stand-alone-mode-on-ubuntu-18-04

可以去镜像：https://mirrors.cnnic.cn/apache/hadoop/common/

选择稳定版本;stable/,里面有两个文件，src是源码，需要编译，选择另一个下载即可，这是编译好的

这里选择的版本号是：hadoop-2.8.5

然后将其解压到主目录文件下。

踩坑：总遇到权限不够的问题。

解决：使用命令行指令：sudo nautilus   ，打开一个拥有管理员权限的文件夹窗口；将压缩包从该窗口移动到合适的位置，再提取到此处即可。（文件很大，提取很慢，耐心等待）

3、命令行操作

• 1、修改权限   sudo chown -R master ./hadoop     其中master为当前用户名
• 2、查看是否修改成功  
•    （借图，懒得截了。）
• 3、检验是否安装成功： 
• master@master-virtual-machine:~$ cd /home/master/hadoop/hadoop-2.8.5
• master@master-virtual-machine:~/hadoop/hadoop-2.8.5$ bin/hadoop version
• 如看到以下文本则安装成功：
• 
•  

4、配置Hadoop：
（1）单机配置：
无需做任何东西，上面安装成功即是默认的单机模式

测试：

aster@master-virtual-machine:~/hadoop/hadoop-2.8.5$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar

可以看到Hadoop自身内置的很多例子：

借用一个例子：

在此我们选择运行grep例子，将input文件夹中的所有文件作为输入，筛选当中符合正则表达式dfs[a-z.]+的单词并统计出现的次数，最后输出结果到output文件夹中。

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input  #将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar grep ./input/ ./output 'dfs[a-z.]+'
cat ./output/*

执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词dfsadmin出现了1次

注意：Hadoop默认不会覆盖结果文件，想要再次运行上面实例会提示出错，需要先将./out删除

rm -r ./out

试验完后可以将输入也删掉了

sudo rm -rf input

（2）伪分布式配置:

参照：https://blog.youkuaiyun.com/weixin_42001089/article/details/81865101#commentBox进行配置即可。

• 本人遇错1：

解决方案：（安装ssh）
https://blog.youkuaiyun.com/yuanxiang01/article/details/79235089

代码：

$ sudo apt-get install openssh-client=1:7.6p1-4

sudo apt-get install openssh-server

 

安装好后查看SSH是否启动 
打开”终端窗口”，输入”sudo ps -e |grep ssh“–>回车–>有sshd,说明ssh服务已经启动，如果没有启动，输入”sudo service ssh start“–>回车–>ssh服务就会启动

查看Ubuntu 18的IP地址 
打开”终端窗口”，输入”sudo ifconfig“–>回车–>就可以查看到IP地址。

Xshell访问成功

• 本人遇错2：

master@master-virtual-machine:~$ sudo ifconfig
sudo: ifconfig：找不到命令

        解决方案：

master@master-virtual-machine:~$ sudo apt install net-tools
 

下篇目标：配置hadoop集群！