u010011737的专栏

在执行 一个案例的时候查看log日志出现bad state: BETWEEN_LOG_SEGMENTS原因是自己把hadoop 下的 data ,name.tmp目录文件删除 ，重新 format 的时候  未把集群下所有的data、 name、tmp都删除

环境：win7、myeclipse2014、hadoop2.6.1实验内容：在win7的myeclipse2014上编写hadoop代码，连接centos部署的hadoop2.6.1集群环境 操作步骤：1、 将centos安装部署的Hadoop2.6.1包拷贝到win7系统中2、 下载Hadoop2.6.1对应版本的eclipse插件，我用的是had

最近在涉及到hadoop mr跑任务时间和效率太慢看到一些参数的相关说明就顺手转过来已备用后续再看或者其它朋友看到。本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-default.xmlmapred-default.xml

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:121)at org.apache.hadoop.mapred.

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): failed to create file /hisdata/20150121/20150121 for DFSClient_attempt_1471504264423_0029_r_000003_

项目中会用到往hdfs 上写文件  ，为下面kafka 往hdfs 上写文件做基础。实例如下：1、配置文件：com/xiefg/config/system.properties   #以下是安装 hadoop 配置文件的路径core.path=/opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/lib/hadoop/etc/had

   俗话说的好：“好记性不如烂笔头”  开发了很长时间，突然对MapReduce的处理过程中详细的步骤和细节内容忘的差不错，只记得大概是什么样的，突然问道弄得思路不清晰，真是。    本文只对MapReduce 执行过程做分析，例如：两个文件 test1.txt   test2.txt  ;    test1.txt 中的内容为 :      Hello World     Bye   Worl...