HDFS常用命令及基于Hadoop集群的Flume架构搭建

HDFS常用命令

1、version

hadoop version

用于打印Hadoop版本信息。

2、dfsadmin

hadoop dfsadmin -report

用于查看集群存储空间使用情况及各节点存储空间使用情况。

3、fs命令

fs命令包下是hadoop内置的对于hadoop文件系统的各项操作，具体主要包括：

命令	作用
-cat	显示该文件的具体内容
-copyFromLocal	从本地上传文件到HDFS文件系统中（单路径）
-copyToLocal	从HDFS文件系统上下载文件到本地（单路径）
-cp	复制
-du	显示文件或文件属性
-ls	显示HDFS系统在指定目录下的文件信息
-mkdir	创建指定目录
-mv	移动文件或目录（目录需要加-r参数）
-rm	删除文件或目录（目录需要加-r参数）
-put	从本地上传文件到HDFS文件系统中（多路径）
-get	从HDFS文件系统上下载文件到本地（多路径）
……	……

Flume

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据同时储存于HDFS、HBase等几种存储器中；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
Flume_1.7.0下载地址
实现环境：CentOS 7、Hadoop集群（未完成安装的请点击参考我发布的前两份博客资料）
（假定运行节点为Slave001）
Flume下载后放在根目录下的software文件夹下，使用tar命令进行解压安装。

tar -zxf ~/software/apache-flume-1.7.0-bin.tar.gz

接下来修改配置文件及环境变量：
//修改配置文件

cd ~/software/apache-flume-1.7.0-bin/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh

在打开的flume-env.sh文件中改写JAVA_HOME的语句，将其修改为当前服务器jdk的安装目录

export JAVA_HOME=/home/hadoop/software/jdk1.8.0_231

//配置Flume环境变量（即在profile文件中加入Flume，使其加入系统路径中）

sudo vi /etc/profile

插入如下语句：

#flume
export FLUME_HOME=/home/hadoop/software/apache-flume-1.7.0-bin
export FlUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/bin

然后reboot重启电脑，完成配置。

此时注意：重启电脑后该节点的各项HDFS进程已被停止，请注意需要重新开启HDFS进程保证后续指令可在HDFS系统上完成。
（包括zkServer.sh start-dfs.sh start-yarn.sh）

验证Flume是否成功安装并配置成功：(若上一步配置结束后未重启可能导致该命令出错）

flume-ng version

若Flume成功安装，则命令行提示如下图所示：

最后，分发配置好的Flume到各个节点并完成相应服务器环境的配置

scp -r ~/software/apache-flume-1.7.0-bin/ Slave002:~/software/
scp -r ~/software/apache-flume-1.7.0-bin/ Slave002:~/software/

随后配置Slave002、Slave003的Flume环境变量，Flume安装结束，注意查看是否每个节点都已成功安装。

sudo vi /etc/profile

插入如下语句：

#flume
export FLUME_HOME=/home/hadoop/software/apache-flume-1.7.0-bin
export FlUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/bin

成果如下图所示：

本次Flume架构搭建完成。