Hadoop的相关知识

常用的Hadoop发行版

 

集群、单节点模式都需要用到SSH登录

linux配置环境变量是通过修改配置文件

平时的学习中我们使用伪分布式就足够了

 

Hadoop配置文件说明

Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。

此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

 

伪分布式就是把名称节点和数据节点放在同一台机器上

所说的每个节点就是一台廉价机器

 

jar文件

JAR文件（Java归档，英语：Java Archive）是一种软件包文件格式，通常用于聚合大量的Java类文件、相关的元数据和资源（文本、图片等）文件到一个文件，以便开发Java平台应用软件或库。

启动Hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop

Hadoop的位置  

cd /usr/local/hadoop

本地文件上传到Hadoop

./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt  input

把当前/home/hadoop/myLocalFile.txt 上传到HDFS中的当前用户目录的input目录下，也就是上传到HDFS的“/user/hadoop/input/”目录下

查看Hadoop目录

./bin/hdfs dfs –ls input

查看input文件夹下的文件（比如上一个命令是将本地文件上传到HDFS的当前用户目录input下，那么我们就可以用这个命令来看一下input文件夹是是否有这个文件，即是否上传成功）

将HDFS目录中的文件下载到本地

./bin/hdfs dfs -get input/myLocalFile.txt  /home/hadoop/下载

将HDFS中input目录中的myLocalfile.txt文件下载到本地/home/hadoop/下载

把文件从HDFS中的一个目录拷贝到HDFS中的另外一个目录

./bin/hdfs dfs -cp input/myLocalFile.txt  /input

Eclipse安装目录

cd /snap/eclipse