TWONIU博客

一、扩容能力：能可靠地存储和处理千兆字节的数据。 二、成本低：可以通过普通机器组成的服务器群来分发以及处理数据，这些服务器群总计可达数千个。 三、高效率：通过分发数据，HADOOP可以在数据所在的节点上并行地处理他们，这使得处理的非常迅速。 四、可靠性：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动的重新部署计算任务。

Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。 1、首先介绍HDFS是如何工作的。         注：上图是从视频网站的截图     分布式存储系统HDFS中工作主要是一个主节点namenode(master)（hadoop1.x

datanote节点启动失败：将每个slave节点的目录下找到/hadoopdata/dfs/data(可能路径不一样，但文件名是一样的)，如果找不到使用   find  /  -name 'data'  直接在系统中搜索，找到后使用rm  -rf data   将其删除，然后start-all.sh  重启。在浏览器中输入http://master:50070 查看datanote的状态。

hive CLI启动时报错：（hadoop-2.5.2 + HIVE 1.1.0） root@ubuntu:/hadoop-2.5.2/etc/hadoop# hive Logging initialized using configuration in jar:file:/hive/apache-hive-1.1.0-bin/lib/hive-common-1.1.0.jar!/hi