cloud-2014的专栏

mapreduce原理分析

http://www.linuxidc.com/Linux/2015-11/124800.htm

本文主要通过输入文件中的child字段和parent字段进行单表关联查询，推导出哪些用户具有child与grandparent关系。1、 输入数据分析输入文件数据示例：child parentTom Jack Jack AliceJack Jesse第1列表示child，第2列表示parent，我们需要根据child和parent的关系得出child

1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。4、关于作业的

Shuffle过程是MapReduce的核心，集中了MR过程最关键的部分。要想了解MR，Shuffle是必须要理解的。了解Shuffle的过程，更有利于我们在对MapReduce job性能调优的工作有帮助，以及进一步加深我们对MR内部机理的了解。Shuffle到底是什么，自己在参考一位大牛两年前的博客，关于MR系列的文章中，才知道前辈什么时候已经开始相应的工作，真实佩服。这里通过对前辈的概念梳理

MapReduce原理 执行步骤：1、Map任务处理1.1读取输入文件内容，解析成key、value对，对输入文件的每一行，解析成key、value对。每一个键值对调用一次Map函数。1.2写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。1.3对输出的key、value进行分区。1.4对不同分区的数据，按key进行排序、分组。相同

转自：http://blog.youkuaiyun.com/heyutao007/article/details/5890103，红色字体为针对原博文察看源码所添加的理解内容mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程） public static class Ma

今天，一大清早同事就让我帮他解决Hive的问题：他在Hive中执行简单的查询(直接从hive查询数据，没有MR过程)能很快的得到结果，但是执行复杂的查询时，就一直卡着不动．我连到服务器上试了一下，跟他遇到的问题一样，问题处在哪里呢？既然简单的查询能出结果，复杂查询需要MR计算，但是却卡住了，那估计是Hadoop的问题．　　于是，我在Hadoop跑一个简单的WountCound程序试试，结果

http://www.linuxidc.com/Linux/2014-08/105335.htm搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉

1.java.sql.SQLException: null,  message from server: "Host '***' is not allowed to connect to this *** server"第一个***是你的主机名（linux），后面的***表示你所连接的数据库服务器名称，可能是MySQL.这个错误的意思是主机***没有访问***数据库服务器的权限

一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现的原理以及整个MapReduce框架的处理流程的分析还是有非常大的出入，而且部分分析是没有经过验证的。本文将通过一个实际的MapR

package mapreduce;import java.io.FileInputStream;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.ap

HDFS文件内容追加(Append)

Hadoop多文件输出(1)Hadoop多文件输出(2)

Hadoop2.2.0中HDFS的高可用性实现原理

Hadoop日志存放路径详解

Hadoop安全模式详解及配置

Hadoop优化与调整

Hadoop 2.x中fsimage和edits合并实现Hadoop 1.x中fsimage和edits合并实现Hadoop NameNode元数据相关文件目录解析Hadoop文件系统元数据fsimage和编辑日志edits

一、HDFS的shell命令简介我们都知道HDFS 是存取数据的分布式文件系统，那么对HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。我们在执行HDFS的shell操作的时候，一定要确定hadoop 是正常运行的，我们可

基于Hadoop-2.7.1package com.yarn;import java.io.File;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;import java.util.StringTokenizer;import org.apache.h

1,环境配置:配置系统环境变量HADOOP_HOME，指向hadoop安装目录（如果你不想招惹不必要的麻烦，不要在目录中包含空格或者中文字符），把HADOOP_HOME/bin加到PATH环境变量（非必要，只是为了方便）。点击http://download.youkuaiyun.com/detail/wuxun1997/9841472下载相关工具类，直接解压后把文件丢到D:\hadoop-2.7.2\bi