大数据——MapReduce基础(MapReduce理论篇)

MapReduce理论篇

2.1 Writable序列化

        序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储(持久化)和网络传输。
        反序列化就是将收到字节序列(或其他数据传输协议)或者是硬盘的持久化数据,转换成内存中的对象。
        Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,header,继承体系等),不便于在网络中高效传输。所以,hadoop自己开发了一套序列化机制(Writable),精简、高效。

2.1.1 常用数据序列化类型
Java类型Hadoop Writable类型
booleanBooleanWritable
byteByteWritable
intIntWritable
floatFloatWritable
longLongWritable
doubleDoubleWritable
stringText
mapMapWritable
arrayArrayWritable
2.1.2 自定义bean对象实现序列化接口
  • 自定义bean对象要想序列化传输,必须实现序列化接口,需要注意以下7项。
    (1)必须实现Writable接口
    (2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造
    (3)重写序列化方法
    (4)重写反序列化方法
    (5)注意反序列化的顺序和序列化的顺序完全一致
    (6)要想把结果显示在文件中,需要重写toString(),且用”\t”分开,方便后续用
    (7)如果需要将自定义的bean放在key中传输,则还需要实现comparable接口,因为mapreduce框中的shuffle过程一定会对key进行排序

     // 1 必须实现Writable接口
     public class FlowBean implements Writable {
     
     	private long upFlow;
     	private long downFlow;
     	private long sumFlow;
     	
     	//2 反序列化时,需要反射调用空参构造函数,所以必须有
     	public FlowBean() {
     	super();
     	}
     	
     	/**
     	* 3重写序列化方法
     	* 
     	* @param out
     	* @throws IOException
     	*/
     	@Override
     	public void write(DataOutput out) throws IOException {
     	out.writeLong(upFlow);
     	out.writeLong(downFlow);
     	out.writeLong(sumFlow);
     	}
     	
     	/**
     	* 4 重写反序列化方法 
     	5 注意反序列化的顺序和序列化的顺序完全一致
     	* 
     	* @param in
     	* @throws IOException
     	*/
     	@Override
     	public void readFields(DataInput in) throws IOException {
     	upFlow = in.readLong();
     	downFlow = in.readLong();
     	sumFlow = in.readLong();
     	}
     	
     	 // 6要想把结果显示在文件中,需要重写toString(),且用”\t”分开,方便后续用
     	@Override
     	public String toString() {
     	return upFlow + "\t" + downFlow + "\t" + sumFlow;
     	}
     	
     	 //7 如果需要将自定义的bean放在key中传输,则还需要实现comparable接口,因为mapreduce框中的shuffle过程一定会对key进行排序
     	@Override
     	public int compareTo(FlowBean o) {
     	// 倒序排列,从大到小
     	return this.sumFlow > o.getSumFlow() ? -1 : 1;
     	}
     }
    
### 云计算、大数据MapReduce基础知识及实战指南 #### 什么是云计算? 云计算是指通过互联网提供各种计算资源和服务的技术集合[^2]。这种技术允许用户按需获取计算能力,而无需投资于物理硬件设施。它不仅限于传统的分布式计算概念,还融合了效用计算、负载均衡、并行计算等多种先进技术。 #### 大数据分析流程概述 在处理大规模数据集时,通常会经历几个阶段:收集、预处理、分析以及可视化。对于海量数据而言,传统方法难以胜任;因此引入了专门针对此类场景设计的大数据平台和技术栈来简化工作流管理过程[^1]。 #### MapReduce简介及其应用场景 作为Google提出的用于处理大量结构化数据的一套软件框架,MapReduce能够高效地执行复杂查询任务,并支持跨集群节点间的协作运算。其核心理念在于将整个作业分为两个主要部分——映射(Map)和规约(Reduce),以此实现对输入记录的有效拆解与聚合统计功能。 #### 实战演练:基于Hadoop环境下的WordCount案例开发 为了帮助理解上述理论知识点,在此给出一个经典的入门级练习项目——单词频率统计(即Word Count Problem): 假设已安装好Apache Hadoop单机版或伪分布模式实例,则可通过编写如下Java源码片段完成该实验目标: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); // 设置Job参数... FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 以上代码仅为示意性质,具体细节还需参照官方文档进一步完善补充。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值