【大数据面试】【框架】Hadoop-入门、HDFS

一、入门

1、常用端口号

2.x

50070：查看HDFS Web-UI

8088：查看MapReduce运行情况

19888：历史服务器

9000：hdfs客户端访问集群

50090：SecondaryNameNode

3.x：

50070-->9870

9000-->8020

3、Hadoop的8个配置文件(-site.xml、sh)

4个组成模块(common、hdfs、yarn、MapReduce)

common-site.xml   hdfs-site.xml   yarn-site.xml  mapred-site.xml

hadoop-env.sh    yarn-env.sh    mapred-env.sh    slaves(不能有空行、不能有空格)

二、HDFS

1、HDFS的读写流程(笔试题)

Client-->NameNode(元数据)-->DataNode

https://www.cnblogs.com/laowangc/p/8949850.html

2、HDFS的小文件问题

1)小文件过多会带来哪些问题(会产生哪些影响)

• NameNode内存：一个文件块占用namenode的内存大小为150个字节

(压缩前：一亿个小文件，就是一亿个*150个字节)

(压缩后：压缩成一个文件，即1*150字节)

(压缩方式：har归档到一个文件内《用的比较多》、自定义InputFormat，把数据放置sequenceFile中取)

【128G的nameNode能存储多少个文件块？==》128G/150字节=128*1024*1024*1024(byte)/150≈9亿】

• 影响分片==>影响Map Tsak的个数

(默认一个文件一个切片)

(方式1：企业采用har归档，将小文件归档，或自定义InputFormat，把数据放入sequenceFile内部)

(方式2：采用CombineInputFormat先对文件聚合，聚合后再对文件切片)

• 进程负载过高

解决：采用JVM重用

开始-执行任务-结束-开始-执行任务-结束==》开始-执行任务-执行任务-执行任务-执行任务-结束

如果没有小文件场景，就不要开启小文件，不然会锁死线程

(配置文件set JVM=true)

三、MapReduce

四、Yarn