Hadoop集群

Hadoop的运行模式
本地运行：在一台单机上运行，没有分布式文件系统，直接读写本地操作系统的文件系统。特点：不对配置文件进行修改，Hadoop 不会启动 
伪分布式：也是在一台单机上运行，但用不同的 Java 进程模仿分布式运行中的各类节点，特点：Hadoop 启动的这些守护进程都在同一台机器上运行，是相互独立的 Java 进程。
完全分布式：数据存储在HDFS，多台服务器工作，企业中大量使用

要在本地去模拟这个真实的场景功能，我们需要做好如下的准备：

 1）准备3台客户机（关闭防火墙、静态IP、主机名称）

 2）安装javaJDK，安装Hadoop，并配置环境变量

3）配置集群

4）单点启动

 5）配置ssh

 6）群起并测试集群

现在我们来看看按照JDK和Hadoop并配置环境变量的工作。有两种思路：

1. 每台机器都去手动安装一次（上传jar包再去解压）。

2. 把一台机器装好，把module 拷贝到其他的机器。这样就不需要省略了上传和解压的工作了。

scp命令
基本语法
作用：可实现服务器与服务器之间的数据拷贝

scp    -r        $pdir/$fname    $user@$host:$pdir/$fname

说明：

（1）-r: 表示递归拷贝。如果要拷贝的是文件夹，就把文件夹下的内容都拷贝

（2）$pdir/$fname: 要拷贝的文件路径/名称   

（3）$user@host:$pdir/$fname: 目的地用户@主机:目的地路径/名称

注意：要输入相应的账号和密码！
————————————————