lingzhiwangcn的专栏

.gz文件上载到hdfs中用 dfs -copyFormLocal的方式，上载后的文件正常，可以用mapreduce直接读取；用flume的方式，datastream类型，上载后mapreduce操作异常，为何呢？Error: java.io.EOFException: Unexpected end of input stream    at org.apache.hadoop.i

/**Text缺省的最大到1024*1024,也就是1MB*/public class SmallFileRecordReader extends RecordReader{     private static final Log LOG = LogFactory.getLog(WholeFileRecordReader.class);    private Fi

Job中配置：String Info_inConfigDir = "hdfs://localhost:9000/cps/conf/FileReport"; Path filePath = new Path(Info_inConfigDir);                  job.addCacheFile(filePath.toUri());//mapper start