每天=生命的最后一天

<br />转自：http://hi.baidu.com/itdreams2009/blog/item/62a5ef18fbbe854e42a9ad13.html<br />1、问题描述：三台机子搭建的hadoop集群，一台是namenode，另外两台是datanode。今天执行hadoop fs -copyFromLocal 的时候报错。File /home/hexianghui/tmp/mapred/system/jobtracker.info could only be replicated to 0

<br /> <br />来自：http://www.cppblog.com/koson/archive/2010/07/19/120773.html<br /><br />一、           hive 简介<br />        hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。    它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out<br />Answer：<br />程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。<br />修改办法：<br />修改2个文件。<br />        /etc/security/limits.conf<br />vi /etc/security/limits.conf<br

<br />【目的】<br />        这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。<br />【先决条件】<br />        请先确认Hadoop被正确安装、配置和正常运行中。更多信息见：<br />        Hadoop快速入门对初次使用者。 <br />        Hadoop集群搭建对大规模分布式集群。 <br />【概述】<br />      Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能

<br />原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html<br />一、前提和设计目标<br />1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。<br />2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。<br />3、H

<br />http://caibinbupt.javaeye.com/ 蔡斌，hadoop源码分析<br />http://www.oschina.net/p/hive/recomm HIVE的详细教程<br />http://www.tbdata.org/archives/category/hive 淘宝数据平台团队<br />http://www.cnblogs.com/spork/archive/2010/01/11/1644342.html Map/Reduce数据流<br />http://ww