win10安装hadoop并使用hdfs上传文件

首先下载hadoop，具体地址为：http://archive.apache.org/dist/hadoop/core/，我下载的是hadoop-2.8.3.tar.gz

由于hadoop天生为linux开发的，所以官方包并不支持完美支持在windows上运行，还需下载 winutils来让hadoop正常运行。具体地址为：https://gitee.com/hailei_yan/winutils

将两个包都下载后解压到同一文件夹如下图所示：

再将 winutils\hadoop-2.8.3\bin里的文件 复制到 hadoop-2.8.3\bin目录下

再配置 hadoop环境变量以及JDK环境变量并将它们的bin目录添加到path里

接着在hadoop-2.8.3目录下创建 data/datanode、data/namenode、tmp文件夹

编辑etc\hadoop\core-site.xml文件，设置临时文件夹目录以及dfs的uri，具体如下：

编辑etc\hadoop\hadoop-env.cmd文件，设置jdk的目录：

编辑etc\hadoop\hdfs-site.xml文件，设置副本数以及元数据和数据的存放目录，具体如下：

用管理员身份启动cmd：hdfs namenode -format

运行完后启动dfs，到hadhood的sbin目录下运行命令：start-dfs

运行命令行后会弹出两个窗口，namenode和datanode：

不报错说明hadoop的dfs启动成功，可以上传下载文件了。可以先在hadoop的文件系统里先创建file文件夹，再上传图片，具体如下：

hadoop fs -mkdir /file         

hadoop dfs -put /E:/test/01.jpg /file

接着访问：http://127.0.0.1:50070/explorer.html#/file，即可看到页面上传的文件了