
hadoop
pengpeng0826
这个作者很懒,什么都没留下…
展开
-
hbase的缺陷
hbase 的并发读写是比较差得;原因如下: 1>顺序存储结构,而且一个机器只有一个HRegionServer来提供RPC服务;多线程写数据时:多个线程有可能会路由到同一个RegionServer上,导致竞争服务的现象;没有分布式的优势; 2>r如果内存中的memstore大于flush.size就会写到磁盘,如果磁盘文件大于filesize,就会sp...原创 2011-04-15 19:16:20 · 185 阅读 · 0 评论 -
常用命令记录下
hadoop namenode -formatstart-all.shhadoop dfs -mkdir inputhadoop fs -lshadoop dfs -rmr output/hadoop dfs -copyFromLocal ./conf/* input/hadoop jar hadoop-0.20.2-examples.jar wordcount in...原创 2011-04-15 19:18:50 · 445 阅读 · 0 评论 -
hadoop概念
1. hadoop概念 Provide easy but general model for programmers to use cluster resources Hide network communication (i.e. RPCs) Hide storage details, file chunks are automatically distributed...原创 2011-05-04 11:29:11 · 111 阅读 · 0 评论 -
hadoop的eclipse-plugin编译
hadoop自带的plugin是不能在eclipse IDE上run on hadoop的。因为自带的plugin他妈的是基于eclipse3.3开发的。我们必须用hadoop自己编译一个eclipse-plugin; 参考:http://trac.nchc.org.tw/cloud/wiki/waue/2010/0211 ...原创 2010-10-25 20:33:22 · 124 阅读 · 0 评论 -
一个简单的hadoop/hbase程序
mapperpublic class OfferMapper extends TableMapper<Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new T...原创 2010-11-03 14:46:25 · 143 阅读 · 0 评论