z_l_l_m的专栏

假设你的hbase和hdfs的hadoop版本不同，但是我们的业务是将hbase的数据写入hdfs。该如何解决呢？ 我们的方法是动态加载jar包。    1.Hbase和Hdfs分别定义借口HbaseInterface和HdfsInterface。    2.分别封装hbase和hdfs的方法生成相关jar包HbaseOperation.jar和HdfsOperation.jar。

转自 http://blog.youkuaiyun.com/v_july_v/article/details/6704077 前言    几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海

转载 http://blog.sina.com.cn/s/blog_7973e0f101014ckc.htmlRPC(Remote Procedure Call Protocol)远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。Hadoop底层的交互都是通过 rpc进行的。例如：datanode和namenode 、tasktracker和jobt

1、 在hadoop中，每个MapReduce任务都被初始化为一个Job。每个Job又可以分成两个阶段：map阶段和reduce阶段；map函数接受一个形式的输入，然后同样产生一个形式的中间输出，Hadoop会负责将所有具有相同结果中间key值的value集合到一起传给reduce函数，reduce函数接受一个如形式的输入，然后对这个value集合进行处理，每个reduce产生0或1个输出，red

Hadoop是Apache的一个项目(http://hadoop.apache.org/),它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架。 目前，整个Hadoop家族由以下几个子项目组成： Hadoop CommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。 Avro

简单地说配置hadoop时必须的一步就是保证ssh是联通的。如果你的ubuntu中没有安装ssh，具体的安装步骤是这样的:1到https://launchpad.net/ubuntu/lucid/i386/openssh-client/1:5.3p1-3ubuntu3。下载文件” openssh-client_5.3p1-3ubuntu3_i386.deb”并在终端中安装。

错误信息如下：Container [pid=26845,containerID=container_1419056923480_0212_02_000001] is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtua