蓝尊宝的博客

主要内容 MapReduce编程模型简介 WordCount编程实例 Hadoop MapReduce架构 MapReduce实战开发 一、MapReduce编程模型简介 MapReduce是一种可用于数据处理的编程模型。该模型比较简单，但用于编写有用的程序并不简单。Hadoop可以运行由各种语言编写的MapReduce程序。例如：Java、Ruby、Python和C++语言等。最重要的是，M...

主要内容 MapReduce的编程 在集群上的运作 MapReduce类型与格式 一、MapReduce的编程 1.设计思路 MapReduce中定义了如下的Map和Reduce两个抽象的编程接口，由用户去编程实现: map: (k1; v1) → [(k2; v2)] 输入：键值对(k1; v1)表示的数据 处理：文档数据记录(如文本文件中的行，或数据表格中的行)将以“键值对”形...

主要内容 1、剖析MapReduce作业运行机制 2、shuffle和排序 3、任务的执行 4、作业的调度 5、YARN平台简介 6、YARN的架构 一、剖析MapReduce作业运行机制 可以通过一个简单的方法调用来运行MapReduce作业：Job对象上的submit()。注意，也可以调用waitForCompletion()，它用于提交之前没有处理过的作业，并等待它的完成。submit(...

Hadoop I/O操作 主要内容 数据完整性 压缩 序列化 基于文件的数据结构SequenceFile 一. 数据完整性 Hadoop用户肯定都希望系统在存储和处理数据时，数据不会有任何丢失或损坏。但是，尽管磁盘或网络上的每个I/O操作不太可能将错误引入自己正在读写的数据，但是，如果系统需要处理的数据量大到Hadoop能够处理的极限，数据被损坏的概率还是很高的。 检测数据是否损坏的常见措...

运行hdfs命令时，比如hadoop fs -put a.txt / 18/12/14 16:19:02 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /a.txt._COPYING_ could only be replica...