fansy1990的专栏

今天做hadoop 的时候出现了一个异常，内容如下： java.io.IOException: wrong key class: class org.apache.hadoop.io.Text is not class org.apache.hadoop.io.IntWritable 我的Mapper 和Reducer如下所示： public static class MyMapper

这两天都是在宿舍编程调试mahout的，所以打算直接使用另外一个笔记本，远程另外一个笔记本（B），省的这个笔记本（A）内存占用太多了，基本都是1.7 ，1.8左右了，开着虚拟机跑hadoop很卡。虽然说是远程调用，但是我A机开了myeclipse等等基本内存也占用到了1.4左右，悲催呀，看来要配内存了。废话不说了，进入正题。 首先说下B机器，B是我以前用的，也部署了一个伪分布式 hadoop集群

在跑BuildForest的时候，编写了下面的程序： package test.breiman; import org.apache.mahout.classifier.df.mapreduce.BuildForest; /** * BuildForecast测试类 * @author fansy */ public class BuildForestFollow { public

hadoop版本：1.0.4 今天在跑TestForest的时候，居然出现了这个问题： Exception in thread "main" java.lang.IllegalArgumentException: Expected authority at index 7: hdfs:// at java.net.URI.create(URI.java:859) at org.ap

在hadoop编程的时候出现了下面的问题（使用myeclipse调用hadoop集群的方式）：14/03/03 11:19:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 14/03

在hadoop2中查看网页中的/tmp目录出现下面的错误：Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp"如果要查看hdfs://hostname:50070/tmp下面的文件，可以在hadoop2的安装目录$HADOOP_HOME运行bin/hadoop dfs chmod -R 755 /tmp，然后就可以了。分享

hadoop2.2 (测试环境，不过个人感觉1.X和2.X的自定义类型应该是一致的，没做过对比)自定义类部分代码如下所示：@Override public void write(DataOutput out) throws IOException { log.info("in write()*************************\nvalue:"+this.value+"\

软件版本： Hadoop2.6.0 （源码使用CDH5.7.0 ，对应hadoop 2.6.0），集群使用Hadoop2.6.4（原生,JDK1.8）, Intellij idea14 (JDK1.8);问题描述： 使用Intellij IDEA编译打MR程序的Jar包，可以直接在终端使用hadoop jar的方式运行，但是直接在Intellij IDEA中提交却任务失败？查询日志表现为：2016