cxx_317的博客

1.创建hadoop用户（1）sudo useradd -m hadoop -s /bin/bash（2）为hadoop 用户增加管理员权限    sudo adduser hadoop sudo（3）打开配置文件sudoers    sudo cat /etc/sudoers，加入hadoop  ALL=(ALL:ALL) ALL 2.安装jdk（已讲解） 3

默认的MapReduce集群没有访问HBase配置或类的权限，so，我们需要将hbase-site.xml文件放到hadoop的安装目录中的conf文件中，并且还需要在hadoop目录下的lib文件夹中加入HBase的Jar包，然后复制更改到集群或者编辑hadoop-evn.sh文件，添加这些更改到HADOOP_CLASSPATH（不推荐）接下来，我们看两个简单的demo：Th

Hadoop的版本0.20.0包含有一个新的 Java MapReduce API，有时也称为"上下文对象"(context object)，旨在使API在今后更容易扩展，新的API 在类型上不兼容先前的API。(1)新的API 倾向于使用抽象类，而不是接口，因为这更容易扩展。如在新的API 中， Mapper 和Reducer现在都是抽象类。(2)新的API是在org.apach

1、Reduce侧联结的数据流Reduce侧联结采用与数据库技术中相同的命名，故也被称为repartitioned join（重分区联结）,或者repartitionedsort-merge join（重分区排序-合并联结）。虽然并非最有效的联结技术，但它是最通用的，进而成为一些更高阶技术的基础。     Reduce侧联结引入了 一些新的术语与概念，名为data source（数据源）、

主要有四个步骤：一、      在hdfs分布式文件系统 中创建两个文件夹，分别存放输入、输出数据1、        bin/hadoop fs –mkdir –p/data/wordcount  创建的输入数据目录2、        bin/hadoop fs –mkdir –p/output/   创建的输出数据目录二、      将要测试的文件上传到hdfs文件系统的输入数据

1、流程代码编写  =》 作业配置  =》 作业提交  =》 Map任务的分配和执行 =》 处理中间结果 =》 Reduce任务的分配和执行 =》 作业完成在每个任务的执行过程中，又包含输入准备 =》 任务执行 =》 输出结果MapReduce作业的执行可以分为11个步骤，涉及4个独立的实体：客户端(client)：编写MapReduce代码，配置作业、提交作业。JobTrac

1.       下载eclipse因为安装了64位的jdk，所以eclipse版本也为64位：eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz 2.     解压缩文件到/opt目录下 sudotar -xsvf ~/下载/ eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz -C /opt/ 3.  

HDFS文件操作一、概念HDFS是一种文件系统，它存储着Hadoop应用将要处理的数据，专为MapReduce这类框架下的大规模分布式数据处理而设计。为解决传统问题中文件存储的问题—海量数据的存储。二、HDFS设计目标：1、very large files（单个文件/文件总大小）2、streaming data access(write-once,read-many-time)

hadoop基础部分的学习告一段落,休息了几天，现在满血复活了。。。哈哈，让我们一起来学习学习hadoop的第一个链接MapReduce作业的案例吧。在高阶数据处理中，会经常发现无法将整个流程写在单个MapReduce作业中，Hadoop支持将多个MapReduce程序链接成更大的作业。1、顺序链接MapReduce作业虽然两个作业可以手动的逐个执行，但更为快捷的方式是生成一个自动

一、      MapperMapper接口负责数据处理阶段，它采用的形式为MapperJava泛型，这里键类和值类分别实现WritableComparable和Writable接口。Mapper只有一个方法—map，用于处理一个单独的键、值对。Void map(K1key,V1 value,OutputCollector output,Reporter reporter) throw

搭了好久的环境，总算是有点眉目了……1、安装一个linux系统（或者是虚拟机）        我采用的是虚拟机（ubuntu10.0)，直接安装vm,再用镜像文件配置一个虚拟环境……2、配置jdk，（一定要注意系统位数与jdk对应。先在官网上下载满足需求的jdk压缩文件）         a、将压缩文件解压        b、将解压的文件拖动到ubuntu环境中的文件中