hadoop自我检测(面试题)

1、hadoop是个什么东西？

: 回答时，精髓：清晰，明确，不含糊， – 但不求多深多全，不能有明确的错

2、hdfs的用途是什么？

<–描述开放式问题的套路：先勾勒出事物的轮廓、骨架、再逐层填充细节–>
储海量文件、为分布式数据处理做支撑
是一个分布式的文件系统

系统中有多重角色，核心角色是namenode 和datanode
namenode负责管理元数据
datanode负责存储文件块

hdfs的运行机制：写文件、读文件的流程

3、文件在hdfs中是通过什么机制来存放的

分布式存放的

文件不是存在一台机器上，而是存在很多的datanode服务器上
一个文件也会被切成多块，分布在多台datanode上
文件的分块存放位置信息，记录在namenode的元数据中

每一个文件的文件块都可以存储多个副本，副本的数量由上传该文件的客户端决定
每一个文件的切块大小也是由客户端决定

读、写数据流程

4、hdfs的客户端api中上传、下载文件，打开文件的输入输出流的方法？

fs.copyFromLocalFile(src,dest)
fs.copyToLocalFile(src,dest)
int = fs.open()
out = fs.create();

5、hdfs的读写数据流程能描述吗？

写文件流程：
客户端向NN请求上传文件
NN告知是否可以上传
客户端向NN请求上传第一个block
NN告知n台DN机器主机名端口号
客户端挑选最近的一台DN，发出请求
目标DN向后续的n个DN发请求，建立pipeline，并在完成后应答客户端
客户端向目标DN传送文件块的字节数据
目标DN接收字节流，并往后续dn进行发送，后续dn接收并往后续发送
该block的数据发送完成后，客户端继续向NN请求上传第二个block，然后重复上述过程

读文件流程：
客户端向NN请求读文件
NN返回该文件的元数据给客户端
客户端找到第一个block的位置信息（dn）
然后挑选最近的一台dn请求读取一个block块
然后dn发送该block块的字节流给客户端，客户端收取
第一个block收取完成后，挑选第二个block的存储dn中最近的一台，重复上述过程

6、hdfs中动态扩容增加10台datanode的步骤有哪些？

准备10台服务器，安装系统、配置环境、安装jdk
安装hadoop软件包
从原集群中同步hadoop配置文件到这新的10台机器
在这10台机器上，用 hadoop-daemon.sh start datanode 分别启动datanode进程
此时，新的10台机器已加入原集群了

后续：为了方便以后用 start-dfs.sh 自动启动集群时，也把这新家的10台自动启动，则可以修改一下slaves文件，加入这10台

6、namenode是怎么管理元数据的？

首先，namenode会将元数据存储在内存中，同时，也会将元数据序列化在磁盘文件fsimage中
然后，这其中涉及的一个核心问题是：内存中元数据如何与磁盘中fsimage序列化文件保持尽可能一致
namenode会将最新的元数据变动以操作日志的形式写在磁盘日志文件edits中
再然后，secondary namenode会定期将新生成的edits文件下载到本地，跟前一个版本的fsimage进行合并生成新的fsimage，并上传到nameonde替换上一个版本的fsimage

7、写一个mapredcue程序，需要写一些什么类？

自定义mapper
自定义reducer
jobsubmitter 提交job的客户端程序

根据需要：还可以有combiner、partitioner、GroupingComparator、自定义Inputformat、自定义outputformat、自定义bean实现writableComparable接口

8、能否不看模板代码，写出一个wordcount

map(){
   String line =value.toString();
   String[] words = line.split(" ");
   for(String word:words){
		context.write(new Text(word),new IntWritable(1))  
   }
}

reduce(Text key,Iterable<IntWritable> values,Context context){
    int count = 0;
    for(IntWritable value:values){
		count += value.get();
	}
context.write(key,new IntWritable(count));

}
main(){
  Configuration conf = new Configuration();
  Job job = Job.getInstance(conf);
  
  ....
  boolean res = job.waitForCompletion(true);
  System.exit(res?0:1);

}

9、能否不看模板代码，写一个求分组topn的mapreduce程序

基本实现：

map(){
  context.write("分组条件",数据)
}


reduce(){
    // 将这一组数据通过迭代器拿出来，放到一个list中或者treemap中
	// 对数据排序 Collections.sort(list,new Comparator());
	// 然后输出前N条
}

高级实现：

利用GroupingComparator

map(){

  context.write(数据bean,nullWritable)

}

保证分区正确：自定一个partitioner
getPartition(){
   // 根据数据bean中的分组条件字段进行分区

}

保证reduce端分组正确；自定义一个GroupingComparator
// 数据bean中uid相同则看成一组

reduce(){
  //按顺序输出前n个

}

10、能否不看模板代码，写一个数据去重的mr程序

11、能否描述mr程序的运行流程、mr程序提交到yarn的流程？

12、hive是个什么东西？它大体是怎么工作的

hive是一个基于hadoop的数据仓库工具

hive中可以建表，建库，
表、库的定义数据存放在hive的元数据库（mysql）中
hive中的表数据存放在hdfs中
hive对用户提交的查询sql，会翻译成mapreduce程序在yarn上运行

13、hive中的元数据是指什么、存在哪？hive中的表数据又是存放在哪？

14、不看模板，能在hive中建库、建表、建分区表、导入数据

create database db_xx;
create table t_yy(id int,name string,birthday date,age int,price double)
row format delimited fields terminated by '\001';

create table t_zz(id int,name string,birthday date,age int,price double)
partitioned by (dt string)
row format delimited fields terminated by '\001';

load data [local] inpath '/path/data' into table t_zz partition(dt='2017-08-08');

15、不看模板，能在hive中做简单查询、条件查询、join查询、group by查询

16、不看模板，能在hive中应用cast函数、substr函数、from_unixtime函数

17、能通过看百度，在hive中使用to_date(“2017-08-30 17:30:20”,“yyyy-MM-dd HH:mm:ss”)函数

18、不看模板，能在hive中应用row_number() over()函数来求分组topn

select ... 
from 
(
select x,y,row_number() over(partition by sex order by age desc) as rank from t_yy
)  tmp
where tmp.rank < 4;

19、不看模板，能在hive中应用json_tuple()解析json数据

select json_tuple(json,‘movie’,‘rate’,‘timeStamp’,‘uid’) as(movie,rate,ts,uid) from t_json;

20、知道textfile和sequencefile的区别吗？

textfile中存放的是文本数据（文本就是一些字符，有行的概念）
sequencefile是hadoop中开发的一种文件格式，里面存放的是大量key-value的对象序列化数据，文件头部会存key-value的类型权限定名