大数据之hdfs

HDFS:
通过 ip addr可以查看ip地址；
通过hostname可以查看主机名；
通过java -version查看jdk版本；
通过cat /etc/hosts可以查看到集群的每个主机名和其对应的IP地址，ping 集群中其他的主机名包括自己，如果在一个集群里是可以ping通的；
通过[root@linux03 etc]# ll |grep hosts 列举出当前目录下的内容，并搜索带hosts的文件
通过scp hosts linux0n:KaTeX parse error: Expected 'EOF', got '#' at position 107: …t@linux02 apps]#̲ cd hadoop-3.1.…PWD
4）启动时要先启动主节点，并对主节点进行初始化在/opt/apps/hadoop-3.1.1/bin 下执行
hadoop namenode -format ；[root@linux01 /]# cd /opt
[root@linux01 opt]# ll
total 181172
drwxr-xr-x. 4 root root 73 Apr 24 13:11 apps
drwxr-xr-x. 4 root root 30 Apr 24 13:01 hdpdata
-rw-r–r--. 1 root root 185516505 Apr 21 10:08 jdk-8u141-linux-x64.tar.gz
[root@linux01 opt]# cd hdpdata/
[root@linux01 hdpdata]# ll
total 0
drwx------. 3 root root 21 Apr 24 18:10 data
drwxr-xr-x. 3 root root 21 Apr 24 18:10 name 看到name表示初始化成功
5）到/opt/apps/hadoop-3.1.1/sbin下实现集群的启停；
启动主节点：[root@linux01 sbin]# hadoop-daemon.sh start namenode 查看进程jps 如果有namenode进程表示主节点启动成功；
启动从节点:hadoop-daemon.sh start datanode 查看进程jps
以上操作只能/opt/apps/hadoop-3.1.1/sbin上操作，为了能在任意目录下启动集群在、etc/profile 下添加如下export HADOOP_HOME=/opt/apps/hadoop-3.1.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/sbin:$HADOOP_HOME/bin
别忘vi编辑之后source /etc/profile；
只需要在在主节点配置start-dfs.sh和stop-dfs.sh,从节点不用