安装配置JDK+Eclipse+Maven+Hdfs命令

一、步骤：

1.安装配置JDK

①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：

②运行安装包，第一次选择JDK安装路径，第二次选择JRE安装路径，开始安装。

③配置JDK的环境变量，Path添加JDK的\bin的安装路径，cmd命令行运行javac，查看是否成功安装配置。

2.安装Eclipse

①官网下载Eclipse安装包eclipse-inst-win64

① Maven官网，选择最近的镜像，选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。

4.Eclipse配置Maven

①修改settings.xml

在安装所在文件夹\apache-maven-3.6.0下面，新建\repository文件夹，作为Maven本地仓库。在文件settings.xml里添加 <localRepository>C:\eclipse\apache-maven-3.6.0\repository</localRepository>。

②配置Maven的installation和User Settings

【Preferences】→【Maven】→【Installations】配置Maven安装路径，【User Settings】配置settings.xml的路径。

③添加pom.xml依赖

依赖（Maven Repository: hadoop），找到对应版本的三个依赖（如下），拷贝至pom.xml的<project>与</project>之间，保存之后自动生成Maven Dependencies。

<dependencies>

  <dependency>

      <groupId>org.apache.hadoop</groupId>

      <artifactId>hadoop-hdfs</artifactId>

      <version>2.7.3</version>

  </dependency>

  <dependency> 

      <groupId>org.apache.hadoop</groupId> 

      <artifactId>hadoop-client</artifactId> 

      <version>2.7.3</version> 

  </dependency>

  <dependency>

      <groupId>org.apache.hadoop</groupId>

      <artifactId>hadoop-common</artifactId>

      <version>2.7.3</version>

  </dependency>

</dependencies>

二、HDFS的Java程序

1、HDFSMKdir.java新建HDFS目录/aadir。

2、HDFSUpload.java写入/上传 本地文件c:\\hdfs\\aa.txt 到HDFS的/aadir目录下。

3、加载包：

4、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\\hdfs目录下。

5、加载包：

6、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。

7、运行

常用hdfs命令：

hdfs的shell命令

hdfs的shell命令，有三种形式，用前面两个。

hdfs dfs    √

hadoop fs  √

hadoop dfs  ×

常用的hdfs的shell命令：

hdfs dfs -ls /  查看hdfs根目录下文件和目录

hdfs dfs -ls -R /      查看hdfs根目录下包括子目录在内的所有文件和目录

hdfs dfs -mkdir /aa/bb  在hdfs的/aa目录下新建/bb目录

hdfs dfs -rm -r /aa/bb   删除hdfs的/aa目录下的/bb目录

hdfs dfs -rm /aa/out.txt  删除hdfs的/aa目录下的out.txt文件

 

hdfs dfs -put anaconda-ks.cfg /aa        把本地文件上传到hdfs

hdfs dfs -copyFromLocal a.txt /          把本地文件上传到hdfs

hdfs dfs -get /bb.txt bbcopy.txt          从hdfs下载文件到本地

hdfs dfs -copyToLocal /bb.txt bbcopy.txt   从hdfs下载文件到本地