大数据面试笔试宝典之Hadoop面试

1.Hadoop 集群模式

hadoop 集群可以运行的 3 个模式是什么？

参考答案：
1）单机模式
2）伪分布模式
3）分布式

2.Hadoop Streaming 的理解

谈谈你对 Hadoop Streaming 的认识？

参考答案：
1）Hadoop Streaming 框架最大的好处是，让任何语言编写的 map, reduce 程序能够在 hadoop 集群上运行；map/reduce 程序只要遵循从标准输入 stdin 读，写出到标准输出 stdout 即可。

2）Hadoop Streaming 容易进行单机调试，通过管道前后相接的方式就可以模拟 streaming, 在 本地完成 map/reduce 程序的调试 # cat inputfile | mapper | sort | reducer > output

3 ）streaming 框架还提供了作业提交时的丰富参数控制，直接通过 streaming 参数，而不需 要使用 java 语言修改；很多 mapreduce 的高阶功能，都可以通过 steaming 参数的调整来完 成

3.combiner 和 sort 发生在什么位置

简述在 combiner 和 sort 分别是发生在 map 端还是在 reduce 端？

参考答案：
Combiner 发生在 map 节点；sort 排序发生在 map 和 re