学习笔记

Test_1.java /** * Hadoop网络课程模板程序 * 编写者：James */ import java.io.IOException; import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoo

可视化设计框架 这些框架，类库或者工具是从30多款主流软件分析对比筛选得出，读者可以根据自己需要进行进一步筛选。 一．     Flex： Flex是什么？       Flex 是一个免费的开放源框架，可用于构建交互性较高、具有表现力的 Web 应用程序，这些应用程序一致地部署在所有主要浏览器、桌面和操作系统中。Flex 提供一个现代、基于标准的语言和编程模型，该模型支持公共设计模

来来往往配置了很多次了，每次总结的we

Hadoop Map/Reduce教程 目的先决条件概述输入与输出例子：WordCount v1.0 源代码用法解释 Map/Reduce - 用户界面 核心功能描述 MapperReducerPartitionerReporterOutputCollector 作业配置任务的执行和环境作业的提交与监控 作业的控制 作业的输入 InputSpl

BigDecimal.java扩展类：   [java] view plaincopy import java.math.BigDecimal;    public class Arith {    /**   * 由于Java的简单类型不能够精确的对浮点数进行运算，这个工具类提供精   * 确的浮点数运算，包括加减乘除和四舍五入。

1、数据去重 　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 　　样例输入如下所示：      1）file1：  

hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是对于中文的输出window系统默认的是GBK，有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时，输出的结果为乱码，只能由UE或者记事本打开才能正常显示。因此将hadoop默认输出编码更改为GBK成为非常常见的需求。        默认的情况下MR主程序中，设定输出编码的设置语句为：

Hadoop的MapReduce模型支持基于key的排序，即在一次MapReduce之后，结果都是按照key的大小排序的。但是在很多应用情况下，我们需要对映射在一个key下的value集合进行排序，即“secondary sort”。      在《hadoop the definate guide》的P227的“secondary sort”章节中，以为例，在map阶段按照year来分发t

转自：http://blog.youkuaiyun.com/heyutao007/article/details/5890165 书上的例子是为了取出一年当中气温最高的值，那么将年份和气温做了一个复合的key.  1 通过设置了partitioner来进行分区。因为分区是按照年份来进行，所以同年的数据就可以分区到一个reducer中。 2 自定义key比较器，按照年份升序，温度值

转自：http://blog.youkuaiyun.com/heyutao007/article/details/5890103 mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。 这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程）  public static class Map extends Mapper