HDFS文件系统操作及eclipse上搭建hadoop外部客户端

操作HDFS文件系统

 

首先查看hadoop下的命令

bin目录下的命令：

sbin目录下的命令：

 

这里演示些最常用的命令：

       创建目录:如创建user/root路径

         

       然后通过sbin 目录下的起始文件运行

         

       然后通过 端口号+50070的方式通过浏览器访问

         如：192.168.230.131端口就通过192.168.230.131:50070访问，进入如下页面

       

      在Utilities下Browse Directory可查看文件路径，和存储状况详情。

       

 

         上传文件        hdfs dfs -D dfs.blocksize=这里设置块的大小  -put   文件

         

         下载获取文件         hdfs dfs -get  下载文件  下载后文件存储位置

          

         删除文件   hdfs dfs -rmr 文件名

         

        查看文件    hdfs dfs -cat 文件         如： profile/*  就是查看profile文件下的所有内容

         

         将一个路径下的文件放到另一个路径下

        

         以上是我总结的常用的命令，其他命令可以通过帮助文档查看使用

         

         

在windows系统上配置hadoop外部客户端

1、配置环境变量
        1.1    配置jdk的环境变量

       我的电脑-->右键属性-->控制面板--->高级系统设置-->环境变量

       在系统变量中添加JAVAHOME变量，然后将 %JAVAHOME%\bin配置到PATH中

        1.2    配置hadoop的环境变量

            变量名：HADOOP_HOME
            路径：将 %HADOOP_HOME%\bin配置到PATH中
        

        

        1.3因为虚拟机用户名与系统有区别

            要将windows 中的user 内的 dirver的hosts加入虚拟机端口号和名称

            修改系统用户名 ： 
                            在系统变量中新建HADOOP_USER_NAME         值为root
    

         2、配置eclipse环境

 

        2.1在eclipse启动之前，将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins
        2.2启动eclipse

        2.3添加路径

        

       2.4  window ------show view  ---------添加map/reduce
       2.5  在map/reduce窗口右键new  map/reduce local

       

       2.6   在建好的链接上右键键Edite  hadoop local 设置

       

       location name :设置连接的名字

       

        host:这里配置虚拟机IP地址

        port：这里设置端口与hadoop中的端口相对应

      我这里是9000

       

        创建项目导入需要用到的包的configuretion就可以了

 

         eclipes中的项目结构

        

        以下为简单的测试代码：

              引入配置文件及AOP注解信息

           

              创建文件

               第一步：创建、删除、重命名、判断是否存在
               第二步：创建文件

               

              这里用的的delete方法过期但不影响使用，只是不建议使用。

            重命名 

            

           上传文件

          

           下载文件