u010961419的博客

      在重隔几个月后重新启动hadoop时，发现namenode启动不了（在bin/stop-all.sh时提示no namenode to stop），上网搜寻no namenode to stop 发现各种各样的解决问题的方法，例如format namenode...等等，发现都不管用。自己还是不够耐心，一气之下就把hadoop和cygwin和jdk全部重装了一遍。下面记录下需要注意的一...

以上为FSDataInputStream的继承结构图，他的定义为：public class FSDataInputStreamextends DataInputStreamimplements , , CloseableFSDataInputStream的主要作用就是用DataInputStream包装了一个输入流，并且使用BufferedInputStream实现了对输入的缓冲。...

hadoop为用户提供了自定义类型的接口，对于key，需要重写实现WritableComparable，而对于value，只需重写实现Writable即可。但是在作为reduce的输出的时，输出格式为TextOutputFormat时，不能正常显示。还需要自定义OutputFormat。常用的几个函数： private double []values = null; pub...

在上篇中，有一个错误的地方，就是对于自定义类型，在TextOutputFormat输出格式下输出的时候，会出现不正常的情况。后来查看TextOutputFormat的源码发现，在输出的时候，它会调用自定义类型VectorWritable的toString方法。以前也写过，不知道为什么不正常，这次添加toString方法后，输出文件中显示正常。 TextOutputFormat中调用Obj...

在学习Mahout中Kmeans源码中，了解了大概的结构，了解到对于输入接口，Mahout应该是在apache的Options（org.apache.commons.cli）基础上，实现了自己的Options（org.apache.commons.cli2）。查阅相关资料，大致了解了apache的Options，写了个简单的例子。 package Etl;import org...