老男人

HDFS 采用了主从（Master/Slave）结构模型，一个HDFS 集群是由一个NameNode 和若干个DataNode 组成的。其中NameNode 作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode 管理存储的数据。 sudo apt-get install sun-java6-jdk这里先解释一下sudo 与apt 这两个命令，sudo 这个命令...

hadoop能解决哪些问题？1、海量数据需要及时分析和处理2、海量数据需要深入分析和挖掘3、数据需要长期保存问题：1、磁盘IO成为一种瓶颈，而非CPU资源。2、网络带宽是一种稀缺资源3、硬件故障成为影响稳定的一大因素。Hadoop生态系统介绍Hbase  1、Nosql数据库，Key-Value存储  2、最大化利用内存 HDFS  1、hadoop distribute file syste...

localhost: Error: JAVA_HOME is not set. 启动start-all.sh时出现如下错误:   root@ubuntu:/home/chenwq/hadoop/hadoop-0.21.0/bin# start-all.shThis script is Deprecated. Instead use start-dfs.sh and start-mapred...

hadoop管理员常用命令hadoop job -list #列出正在运行的jobhadoop job -kill <job_id>  #kill jobhadoop fsck / #检查HDFS块状态，是否损坏hadoop fsck / -delete #检查HDFS块状态，删除损坏块hadoop dfsadmin -report #检查HDFS状态，包括DN信息。hadoop d...

Writable接口1、对java中的int型进行封装那么就是hadoop中的IntWritable类，在写程序的时候可以把IntWritable可以看着是int类型，它实现了WritableComparable接口，WritableComparable又是Writable、java.lang.comparable接口的子接口。2、我们可以自定义Writable接口，来编写更复杂的结构的类，核心...

  Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。   目前在Hadoop中，本地库应用在文件的压缩上面：   <!--[if !supportLists]-->·     <!--[endif]-->zlib ...

Hadoop生态系统Hbase 1、Nosql数据库，key-value存储 2、最大化利用内存HDFS 1、hadoop distribute file system分布式文件系统 2、最大化利用磁盘MapReduce 1、编程模型，主要用来做数据分析 2、最大化利用CPU HDFS设计原则文件以快(block）方式存储每个块带下远比多数文件系统来的大（预设64M）通过副本机制提高可靠度和读...

Hadoop管理员常用命令hadoop job -list #列出正在运行的jobhadoop job -kill <job_id> #kill jobhadoop fsck /xxx  #检查HDFS块状态，是否损坏hadoop fsck /xxx -delete #检查HDFS块状态，删除损坏块hadoop dfsadmin -report #检查HDFS状态，包括DN信息had...

Hadoop Job Scheduler1、hadoop默认的调度器是基于队列的FIFO调度器    所有用户的作业都被提交到一个队列中，然后由jobTracker先按照作业的优先级高低，再按照作业提交时间的先后顺序选择将被执行的作业。优点：调度算法简单明了，JobTracker工作负担轻缺点：忽略了不同作业的需求差异2、还用俩个多用户调度器   --Fair Scheduler(公平调度器) ...

实现将不同的内容输出到不同的文件，使用Partitioner   自定义的Partitioner1、为何使用Partitioner，主要是想reduce的结果能够根据key再次分类输出到不同的文件夹中。2、结果能够直观，同时做到对数据结果的简单的统计分析 1、Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。2、HashPartitio...