Hadoop操作基础与IDE环境配置。
Hadoop操作
目录操作
-
在操作之前,需要在hadoop根目录下创建与Linux用户同名的user目录
./bin/hdfs dfs -mkdir -p /user/hadoop -
之后,所有的文件都默认放入这个目录下面,很多命令与Linux命令一致,比如查看当前文件夹:

-
这个
input是这样创建的:./bin/hfs dfs -mkdir input -
若
/input,表示在HDFS的根目录创建input目录
文件操作
本地->Hadoop
-
将本地文件移动到hadoop的input文件夹下:

-
查看Hadoop的input文件夹下的文件:

Hadoop->本地
-
同时,也可以将Hadoop上的文件下载到本地:

Hadoop之间
-
在Hadoop的文件之间进行传输,与Linux上文件传输无异
-
注意,要使用
-cp命令,一定要确保目标文件夹存在:
配置IDE环境
下载IDEA
-
首先在官网下载IDEA到
Download:
-
然后执行解压命令,解压到
/usr/local

本文介绍了Hadoop的基本操作,包括目录创建、文件在本地与Hadoop之间的移动,以及如何在Hadoop之间传输文件。还详细讲述了如何配置IDEA环境,包括下载、安装、导入依赖,并指导了如何将Hadoop项目打包成JAR包。
最低0.47元/天 解锁文章
4020





