Trend_H的博客

在前两天的一个小Demo中，我遇到了这样的一个需求。将MapReduce的结果存储到MySQL中。 一般情况下，如果我会直接将数据的结果写到文件中，然后通过直接查看文件来得知分析的结果。 // 指定写出到哪里(写到HDFS上的文件中) FileOutputFormat.setOutputPath(job,"hdfs://master:9000/out.txt"); 但现在，我需要将...

1.概述 1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209秒。那么Terasort在Hadoop中是怎样实现的呢？本文主要从算法设计角度分析Terasort作业。 2.算法思想 实际上，当我们要把传统的串行排序算法设计成并行的排序算法时，通常会想到分而治之的策略，即：把要...