西电一枝花的专栏

一、环境说明<br />实验室中多台机器都属于同一局域网，主机的操作系统多为windows系统，而hadoop要在linux环境下配置，因此我们选用了host（windows7）+Vmware（ubuntu）的方式进行了实验性的配置。<br />机器三台，分别做namenode（12G内存八核处理器  1TB硬盘）和两个datanode（4G内存双核处理器 1TB硬盘）。下面进入正式的配置过程。<br /> 二、虚拟机的安装及上网方式的选择<br />虚拟机上网方式，选择桥接。<br />虚拟机器上安装li

import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java

import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;impor

import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;im

import java.util.Map.Entry;import org.apache.hadoop.conf.*;import org.apache.hadoop.util.*;//包含run ToolRunner等等// vv ConfigurationPrin

一 实验室环境下 hadoop集群配置一、环境说明实验室中多台机器都属于同一局域网，主机的操作系统多为windows系统，而hadoop要在linux环境下配置，因此我们选用了host（windows7）+Vmware（ubuntu）的方式进行了实验性的配置。机器三台

首先 java实现import java.io.File;public class A { public static void recursion(String root){ File file = new File(root); File[] subFile

Map/reduce 是一种处理海量数据的分布式模型，是在一种运行在专门为大规模数据处理组建的集群上程序框架，它的技术基础是大家所熟知的并行和分布式处理，现在在工业界和学术可以说有很大的影响，不容小视。什么是海量数据，为什么要用map/reduce这是最基本的问题。对于海量数

protected List listStatus(JobContext job ) throws IOException { List result = new ArrayList(); Path[] dirs = getInputPaths(job);//指向输入路径 if (dir

aprotected List listStatus(JobContext job                                        ) throws IOException {    List result = new ArrayList();    Path[] dirs = getInputPaths(job);    if (dirs.lengt

1、概念理解物理处理器：     一个单核CPU，多核CPU的某个内核，都是一个物理处理器； 逻辑处理器：    通过超线程技术可以将一个物理处理器模拟成多个逻辑处理器，    超线程技术的目的是提高物理处理器的利用效率，开销是模拟的多个逻辑处理器在工作切换时，有不少的数据保存和恢复工作，因此实际处理性能的提升要弱于多核CPU的多个物理处理器；双核CPU的两个物理处理器，通

import java.io.IOException;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.P

import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;impo

什么是关系型数据库？什么叫关系型数据库？             关系型数据库是最为流行的数据存储模式它产生于一个名称为A Relational Model of Data for Large Shared Data Banks 的论文中SQL 进而发展为关系型的数据库对于关

一、安装虚拟机VM一直next 注：卸载VM的时候最好用强力点的软件卸载，因为如果卸载（尤其是注册表）的不彻底的话很可能会导致下次没法安装。遇到这种情况手动删除注册表中关于VMware的信息。参考：http://zhidao.baidu.com/question/156744859.html?fr=qrl&cid=89&index=1  二、安装好VM后打开一个Cent

public void map(WritableComparable key, Writable values, OutputCollector output, Reporter reporter) throws IOException { }WritableComp

前推迭代器<br />前推迭代器能够读写数据值，并能够向前推进到下一个值。但是没法递减。replace()算法显示了前推迭代器的使用方法。template <class ForwardIterator, class T>void replace (ForwardIterator

map是怎样读取数据的许多方法是把each line as a recordreduce  多的时候要分区combiner 指定一个合并函数就可以了conf.setcombinerClass()HDFS以流式数据访问模式来存储超大文件namenode将文件系统的元数据（文件，目录

HDFS 对写入的数据计算校验和datanode 管线的最后一个datanode 负责验证校验和客户端在读取datanode的时候也会验证校验和Hadoop的LocalFilesystem执行客户端校验和验证LocalFileSystem通过ChecksumFil

JobConf conf= JobBuilder.ParseInputAndOutput(this,getConf(),args);conf.SetInputFormat();conf.SetMapperClass(...class);.......for (In

HDFS 对写入的数据计算校验和datanode 管线的最后一个datanode 负责验证校验和客户端在读取datanode的时候也会验证校验和Hadoop的LocalFilesystem执行客户端校验和验证LocalFileSystem通过ChecksumFil

package org.apache.hadoop.examples; import java.io.IOException;import java.util.StringTokenizer; importorg.apache.hadoop.conf.Conf

Configuration 是一个类 Hadoop中的组建的配置是通过Hadoop提供的API来进行的 一个Configuration代表配置属性及其取值的一个集合hadoop fs -copyFromLocal  本地  HDFS目的地hadoop fs -mkdir

JobClient的runJob()方法是用于新建JobClient实例和调用其submitJob()方法。提交作业后，runJob（）将每秒轮询作业的进度，如果发现与上一个记录不同，便把报告显示到控制台。作业完成后，如果成功，就显示作业计数器。否则，导致作业失败的错误会被记录到

Configuration 是一个类 Hadoop中的组建的配置是通过Hadoop提供的API来进行的 一个Configuration代表配置属性及其取值的一个集合Configuration conf = new Configuration();conf.addResou

map（k1，v1）——>list(k2,v2)reduce(k2,list(v2))->list(k3,v3)reduce的输入类型必须与map函数的输出类型相同combine的输入输出键值类型必须相同，也就是k2,v2static class Mapper extends Mapper{public void map(Object key, Text value