qq_34531825的博客

hadoop ToolRunner 综合应用

使用文件作为Mapper的输入，需要完成下面两部分 （1）加入路径 （2）选择输入文件格式//FileInputFormat.addInputPath(job, new Path(args[0]));job.setInputFormatClass(SequenceFileInputFormat.class);

新老版本MapReduce 中InputFormat、OutputFormat，Job API 对比，以JobBuilder函数为例：

本文是一个学习笔记，并不包含完整的Pig（Pig Latin）内容，仅仅列出了一些本人在学习过程中觉得重要的内容，更详细的内容参考《Hadoop权威指南》、《实战Hadoop》。Pig概述Pig是一种探索大规模数据集的脚本语言。 Pig相当于一个Hadoop的客户端。 Pig提供了丰富的数据结构，和一套强大的数据变换操作。MapReduce的一个缺点是开发周期太长，Pig Latin代码能轻松处

将计算（查询）结果保存到一个新表中//原始数据表hive> describe widgets2;id int price double amount int //目标表创建hive> create table sales(id int,