天书夜读

一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFSDat

1、hadoop运行的原理? 2、mapreduce的原理? 3、HDFS存储的机制? 4、举一个简单的例子说明mapreduce是怎么来运行的 ? 5、面试的人给你出一些问题,让你用mapreduce来实现？       比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。 6、hadoop中Combiner的作用? 7.如何确认

我一度是Hadoop的忠实拥护者。我喜欢它可以轻而易举地处理PB级别的数据，喜欢它可以将运算扩展到数千个节点的分布式计算能力，也喜欢它存储和加载数据的灵活性。但在经历过一系列的探索与使用之后，我对Hadoop非常失望。 下面就是我为什么不使用Hadoop做数据分析的见解。 Hadoop只是一个框架，而非一种完备的解决方案。人们期望Hadoop可以圆满地解决大数据分析问题，但事实是，