caoyaqi的博客

StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。 1.构造函数 public StringTokenizer(String str) public StringTokenizer(String str, String delim) public StringTokenizer(String str, String delim, boolean

package test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache

在centos中，将hadoop-eclipse-plugin-1.2.1.jar放入eclipse的plugins的文件夹中，但是，eclipse无法加载hadoop-eclipse-plugin-1.2.1.jar，使得eclipse中Windows->Preferences中没有Hadoop Map/Reduce选项：（即hadoop插件没有加载上，eclipse无法对作业进行集群提交）

CombinFIleInputFormat通常默认情况下是把合并后的文件一行一行读入到map中，在CombineSmallfileRecordReader中屏蔽的地方是一行一行读入到map中的,这里给改成了每次往map中读入整篇文章 CombineSmallfileInputFormat.java package combinAllFile; import java.io.I

后来想想还是把CombineFileInputFormat每次读入一行的代码附上吧 CombineSmallfileRecordReader .java package CombineLine; import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.had

WholeFileInputFormat .java   中的代码如下： package AllFileInput; import java.io.IOException; import org.apache.hadoop.io.BytesWritable; import org.apache.hadoop.io.NullWritable; import org.

当hadoop运行时出现mapper找不到，或者不存在：可以把该java文件打jar包 比如：运行WorldCount.java文件时，出现上述错误，则可以将该Java文件export出jar格式，再把该jar包buildpath ----------------------------------------------------------------------------------

//在mapreduce中，如果想进入debug模式进行调试，则需要在main函数中去掉下面一行代码：Configuration conf = new Configuration();conf.set("mapred.job.tracker", "master:9001");//这行不能要，否则进入集群模式，不能单步调试，不设置jobtracker默认进入本地模式//在hadoop中设置每个spl

处理压缩小文件的，不是压缩文件，代码也是可以用的，只是这时候每个split是一个小文件 其他就不在多说了，只是提供3个java文件，也只是些参考 CompressedCombineFileInputFormat .java package compressedCombineFile; import java.io.IOException; import org.apache.ha

namenode启动正常，每个从节点上nodemanager也正常启动，就是从节点上服务datanode无法全部正常启动，有时候只有一个节点上的datanode起来了，其他都没启动，或者从节点上的datanode全部无法启动，在slave节点上查看日志  vi hadoop-root-datanode-slave2.log 发现日志中报有如下错误： java.net.BindException: