似水流年

一：如下异常：Starting Job16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:803216/06/30 01:15:35 INFO input.FileInputFormat: Total input paths to process :

增加一个slave后namenode无法启动,异常如图:原因如下:集群运行时，加入新机器，这时对hdfs-site.xml中的namenode进行了namenode -format操作，导致问题（clusterid expected 和seen 不符，txid expected 和seen 不符）。加入新机器时要额外小心配置。布置一个新集群时如果拷贝这个集群的配

分布式文件系统HDFS可以存储海量的数据（以T为单位的数据量），分布式计算框架MapReduce可以对存储在HDFS的数据进行处理后再将结果写回到HDFS。MapReduce + HDFS可以完成对海量数据的批量处理，但是这套组合会导致很多重复性的工作，有些处理起来比较繁琐，例如从文件中选取特定行数的数据，按照某些字段对数据进行排序，统计某些字段出现的字数，将多个数据源的数据join在一起。Hiv

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。1.    ResourceManager相关配置参数（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yar

异常报错：org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /chunk :java.io.FileNotFoundException: File file:/chunk does not exist启动：sbin/解决方案：vi  /e3base/hadoo

datanode 出来了，master：18088也可以啦  但是pi 运行不出来 原因：防火墙未关闭

1.停止hadoop运行运行stop-all.sh2.配置namenode节点和datanode节点的数据存储目录修改hdfs-site.xml配置文件，添加如下内容   dfs.name.dir   /home/test/hadoop-test/dfs/name  dfs.data.dir  /home/test/hadoop-test/dfs/data

实验真是场景下搭建集群,最终效果,通过远程或在某局域网中在笔记本中输入某台服务器的IP能够进入服务器中对其操作维护.所需设备:若干服务器硬件,至少一台KVM(远程设备管理器),若干台交换机,至少一台笔记本另外若干台显示屏作为辅助.实验步骤:      准备工作,一台显示屏配备多态服务器硬件(10台左右),有一台交换机连接服务器和KVM实验步骤:     第一:分别在IB

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里

一.       异常类型               实例化异常.             具体代码:              MultipleInputs.addInputPath(job,new Path(args[0]),FileInputFormat .class, WholeFileMapper.class);              Mul

1.job的本质是什么？2.任务的本质是什么？3.文件系统的Namespace由谁来管理，Namespace的作用是什么？4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？5.Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，为什么？6.客户端读写某个数据时，是否通过

一 Map端JionMap端join实现：    条件          a. job 1          b. map 1          c. reduce 0    原理:          目的是为了使Map在执行setup函数时,加载初始化该路径下数据将cacheFilePath放在Map的本地缓存区,此缓存  区的数据可以被所有Map共享    

阅读本文可以带着下面问题：1.map和reduce的数量过多会导致什么情况？2.Reduce可以通过什么设置来增加任务个数？3.一个task的map数量由谁来决定？4.一个task的reduce数量由谁来决定？一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的goalSize = tot

package day0917;import java.io.IOException;import java.util.TreeMap;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;

一 问题的产生:当slave中没有DataNode进程原因如下1.可能是master中没有开启hadoop集群    sbin/start-all.sh2 若启动集群后slave仍未有DataNode则在slave中单步启动命令如下;   sbin/hadoop-daemons.sh start datanode3 若还是没有DataNode进程,则查看DataNode

与其说shuffle为mapreduce之间的独立处理函数 不如说是map中数据输入reduce一通道,因为shuffle一部分属于对map task  另一部分为reduce taskMap函数产生输出时,为了保证I/O效率,采用了先写到内存的环形缓冲区,并做一次预排序,每个Map任务都有一个环形内存缓冲区,(默认大小100MB),一旦缓冲区内数据达到80%(默认

YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResouceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManger申请资源，并要求Node

一两台虚拟机不能相互ping通1.首先保证IP正确无误2.检查防火墙是关闭状态3 检查两台虚拟机是否在同一网段4 若1-3条件都成立,仍不能ping通  则更新两台虚拟机IP,重新配置相关文件二 出现master:50070端口无法打开  格式化namenode文件 hdfs namenode -format  打开:sbin/star-all.sh

安装Hadoop过程中查看输入的命令行结果经常遇到  not found common  (没有发现命令)分析解决办法:1.查看输入的命令是否正确2.对比命令与所操作的目录是否一致(当前目录是否有此操作命令)3.查看该命令所操作的目录或文件内容是否有错误特别是针对配置文件 如:hdfs  namenode -format(格式化文件命令)     .bash

生成jar包完整操作过程 //www.aboutyun.com/thread-7086-1-1.htmlHadoop fs -put README.txt /0909 上传到HdfsHadoop fs -cat README.txt //查看文件内容Hadoop jar share/hadoopMapReduce/hadoop-mapreduce-examples-2.5.2.jar

转载：http://blog.pureisle.net/archives/1785.html十二、如果遇到如下错误：FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:***就是URI里边出现了不允许出现的字符，比如

随着Hadoop的流行，其局限性也在一定程度体现，各大公司也在hadoop上做了很多修改，下面是雅虎对Hadoop下一代的重构计划。　　回顾　　海量数据业务中，使用数量少规模大的集群比使用数量多规模小集群的成本低。规模大的集群能处理大数据集，同时也能支持更多的任务和用户。　　Apache Hadoop MapReduce框架大约能够支持4000台机器。下一代的Apache Hadoop

第一部分：目前Hadoop1.0架构的问题  单点故障•如果NameNode或者JobTraker关掉，那么整个集群瘫痪。 •对于7×24生产环境，是具有极大的风险。       第二部分：常见的HA方案 •第一种是可以设置一个NFS的目录，存储fsimage和editlog，存储的是实时数据，这样当n

本文参考 http://blog.youkuaiyun.com/blacklaw0/article/details/9884481研究hadoop的文章有很多，我想自己写一下，主要是理解学习hadoop，方便自己进行优化管理主要参考是hadoop官方：http://hadoop.apache.org/docs/current/慢慢来吧，先copy一张hadoop官方的hdfs架构图hdfs

MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。什么是InputSplit       InputSplit是指分片，在MapReduce当中作业中，作为map task最小输入单位。分片是基于文件基础上出来的而来的概念，通俗的理解一个文件可以切分为多少个片段，每个片段包括了等信息。在MapTask拿到这些分片后，会知道从哪开始读取数据。Job提交时如

转载请注明出处：http://blog.youkuaiyun.com/lastsweetop/article/details/9187721作为输入当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。作为输出当mapreduce的输出文件需要压缩时，可以更改mapred.output.compress为true，mapped.out

异常：java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplit    at org.apache.hado

MR的输出结果默认为part-r-00000，我们可自定义易识别的名字替代part，如score-r-00000[java] view plain copy     job.setOutputFormatClass(MyOut.class);                  MyOut.setOutputName(job, "score");//自定义输出名   

/********************************************======  源数据  =====***************************************/数据与数据之间是用Tab分割18513506063    600    100    23018513506034    500    200    130185135060

http://www.360doc.com/content/12/0406/23/23378_201553118.shtml

我们经常遇到这样的问题，内存溢出，内存溢出的原因是很简单，不够用了，不够用该怎么设置，通过水设置。可以参考下面案例一、hadoop的mapreduce作业中经常出现Java heap space解决方案常常被一些用户问到，说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？”10/01/10 12:48:01 INF

JoinMain：package com.cys.tables;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import or

搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）问题描述上传文件的代码：package com.cys.map

下文将重点说明通过Sqoop实现Mysql与HDFS互导数据，Mysql与Hbase,Oracle与Hbase的互导最后给出命令。一、Mysql与HDFS互导数据环境：宿主机器操作系统为Win7，Mysql安装在宿主机上，宿主机地址为192.168.10.503台虚拟机操作系统为CentOS 位三台虚拟机已成功安装Hadoop，并实现免密钥互访，配hosts为：192.

http://www.cnblogs.com/dolphin0520/p/3613043.html

Error: java.lang.NumberFormatException: For input string: "" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:504) at java.lang.Integer.parseInt(Integer.java:527) at

Mapperpackage Demo1;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class Mymap

一问题产生   在linux操作系统下，我们有时打开在windows下的txt文件，发现在windows下能正常显示的txt文件出现了中文乱码。 二分析问题    出现这种情况的原因为两种操作系统的中文压缩方式不同，在windows环境中中文压缩一般为gbk，而在linux环境中为utf8，这就导致了在windows下能正常显示而在linux环境下打开呈现了乱码状态。

1、数据去重　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。　　样例输入如下所示：     1）file1： 2012-3