
hadoop
菩提小师傅
擅长服务端分布式高并发架构
展开
-
hadoop mapreduce模式读取sequence文件
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;im原创 2015-06-03 10:08:48 · 480 阅读 · 0 评论 -
hadoop单机模式读取sequence文件
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;impo转载 2015-06-03 10:05:12 · 513 阅读 · 0 评论 -
hadoop读取 Sequence格式的文件的代码
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;impo原创 2015-06-03 09:58:00 · 593 阅读 · 0 评论 -
hadoop统计文件行数
hadoop统计文件行数,特定字符串个数等。原创 2015-06-08 14:07:58 · 6996 阅读 · 0 评论 -
mapreduce编程异常记录
mapreduce使用list,如果泛型为Text的话,会造成list中存储的元素始终是add的最后一个。例如:向list中插入如下数据,[3,5,2,6],如果list的定义为List list = new ArrayLIst():则list实际存储的值为四个6。开发中遇到的问题,特此记录下,具体原因尚没时间去探索,先mark下。如有大神知道,还望不吝赐教原创 2015-06-08 10:28:37 · 390 阅读 · 0 评论