Linux的shell命令
常用的linux的shell命令:
cd /aa 转到/aa目录
pws 显示当前目录
ll /aa 显示/aa目录
mkdir /aa 新建/aa目录
rm /aa/out.txt 删除/aa目录下的out.txt文件
cat /aa/out.txt 查看/aa目录下的out.txt文件的内容
vi /aa/out.txt 编辑/aa目录下的out.txt文件的内容
ifconfig 查看IP地址
ip addr 查看IP地址
hdfs的shell命令
hdfs的shell命令,有三种形式,用前面两个。
hdfs dfs √
hadoop fs √
hadoop dfs ×
常用的hdfs的shell命令:
hdfs dfs -ls / 查看hdfs根目录下文件和目录
hdfs dfs -ls -R / 查看hdfs根目录下包括子目录在内的所有文件和目录
hdfs dfs -mkdir /aa/bb 在hdfs的/aa目录下新建/bb目录
hdfs dfs -rm -r /aa/bb 删除hdfs的/aa目录下的/bb目录
hdfs dfs -rm /aa/out.txt 删除hdfs的/aa目录下的out.txt文件
hdfs dfs -put anaconda-ks.cfg /aa 把本地文件上传到hdfs
hdfs dfs -copyFromLocal a.txt / 把本地文件上传到hdfs
hdfs dfs -get /bb.txt bbcopy.txt 从hdfs下载文件到本地
hdfs dfs -copyToLocal /bb.txt bbcopy.txt 从hdfs下载文件到本地
HDFS的Java程序
一、HDFSMKdir.java新建HDFS目录/aadir。
二、HDFSUpload.java写入/上传 本地文件c:\\hdfs\\aa.txt 到HDFS的/aadir目录下。
加载包:
三、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\\hdfs目录下。
加载包:
四、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。
实验步骤
- 搭建Hadoop伪分布式模式、或者完全分布式模式
- Windows里安装配置JDK+Eclipse+Maven
- 在Eclipse里新建Maven Project,新建包,新建class
- 编程上述4个Java程序
- 虚拟机的namenode主机上,启动Hadoop
- 在eclipse里运行上述4个Java程序
- 使用hdfs的shell命令查看运行结果
- 使用web console查看运行结果