sun_168的专栏

查找资料，发现可以通过InputSplit inputSplit=(InputSplit)context.getInputSplit();String filename=((FileSplit)inputSplit).getPath().getName();来获取，结果很不幸，我失败了，问题出在哪里呢，还是新旧API捣的鬼。其实以前的“Hadoop中mapred包和mapreduc

最近对海量数据处理的兴趣，正在学习Hadoop，呵呵，这是笔者的第一个hadoop程序，通过这个程序，终于把hadoop程序的编写执行流程搞清楚了！首先上代码import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputS

如果集群上运行程序找不到Map和Reduce类一般都是没有设置包含类的Jar包API解析如下：setJarByClasspublic void setJarByClass(Class cls)Set the Jar by finding where a given class came from. Parameters:cls - the example class

今天写了段代码突然发现，很多类在mapred和mapreduce中分别都有定义，下面是小菜写的一段代码：public  class MyJob extends Configured implements Tool{        public static class MapClass extends MapReduceBase implements Mapper    {//

网上关于这方面的爆料很多，这里我就针对我自己的理解叙述一下，就当笔记，如果哪里有理解错误，请抛砖。String类型，类似于常量，对它对象的每一个此操作相当于抛弃了原来的String对象，生成一个新的String对象，让对象指向新String对象地址，例如：String str1 = new String("abc");//新建一个str对象，比如为其分配地址：12345，即str指向的地址

今天我用Hadoop实现随机生成一个很大的矩阵，可是好多行是一样的，郁闷，查看了JDK的API后才知道了其中的原委，现在和大家分享一下。Java随机数产生可以通过Java.util.Random来实现。Random类有两个方法构造方法：1. Random(long)该构造函数中的参数充当伪随机的种子，我们可以自由设置；2. Random()该构造方法没有参数，其中的种子是通

这里为了配置Hadoop环境，需要安装jdk，以前安装过，可是忘了，又折腾了很长时间才装上，其实整个过程很简单，所以记下来以备以后安装时查找。首先下载ubuntu的安装包，网址http://www.oracle.com/technetwork/java/javase/downloads/jdk6u38-downloads-1877406.html，找个网址很费劲，不知道oracle怎么整的。