笨笨个人笔记

检查发现是DataNode一直连接不到NameNode。检查各个节点在etc/hosts中的配置是否有127.0.1.1 xxxxxx。如果有把其屏蔽或者删除，重启各节点即可。原因：127.0.1.1是debian中的本地回环。这个造成了hadoop解析出现问题。这个设置应该是在做伪分布式的hadoop集群的时候，留下来的。如果照上面的方法还是出现同样的问题，或者etc

使用hive load从hdfs中load data的时候，hiveql如下:load data inpath 'hdfs://192.168.0.131:9000/hive/test.log'overwrite into table test_logpartition(dt="20130703");出错：FAILED: SemanticException [Error 10028

hive> select * from dummy;FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config (null))java.lang.RuntimeException: Error whi

org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 异常的解决

Eclipse：Run on Hadoop 没有反应原因：hadoop-0.20.2下自带的eclise插件已过时。解决方案:1、下载正确的插件：https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar2、重命名：将下载的插件重命名为"had

配置完Hbase后，启动,JPS发现少了HMaster这个进程。查看了一下日志如下：java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.0.131:9000/hbase, expected: hdfs://icache-9200.site:9000 at org.apache.hadoop.fs.FileSystem.chec

package cn.framelife.hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apach

package cn.framelife.hadoop;import java.io.IOException;import java.io.InputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.

首先要了解一下Hadoop的运行模式：单机模式（standalone）       单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。

数据块（block）HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。NameNode和DataNodeHDFS体系结构中有两类节

Workaround 1: Start from scratchI can testify that the following steps solve this error, but the side effects won't make you happy (me neither). The crude workaround I have found is to:1.     stop

解决方案：关闭hadoop NameNode的安全模式就行了。bin/hadoop dfsadmin -safemode leave

在网上收集了一些mapreduce中常用的一些名词的解释，分享一下：Shuffle（洗牌）：当第一个map任务完成后，节点可能还要继续执行更多的map 任务，但这时候也开始把map任务的中间输出交换到需要它们的 reducer那里去，这个移动map输出到 reducer 的过程叫做shuffle。 Partition：每一个reduce节点会分派到中间输出的键集合中的一个不

1、系统或hdfs是否有空间2、datanode数是否正常 3、是否在safemode 4、防火墙关闭5、配置方面6、把NameNode的tmp文件清空，然后重新格式化NameNode

众所周知，Hadoop框架使用Mapper将数据处理成一个键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。      在上述过程中，我们看到至少两个性能瓶颈：如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值，那么很明显的Mapper只需要输出它所知道的最大值即可。这样做不