
hadoop
zhrglchp
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop
精通HADOOP http://blog.youkuaiyun.com/robertleepeak/article/details/6001369原创 2012-04-25 13:16:08 · 83 阅读 · 0 评论 -
Mapper,Reducer,Wrapper的Java模板
http://www.easyigloo.org/?p=1145 很多时候想要测试hadoop上的一个想法,要求快速创建并运行任务。每个任务包含了至少3个组件。 Mapper类 Reducer类 Wrapper类 下面的代码用以产生空模板,只是将变量替换成自己的类名 MAPPER ------------------------------------------...原创 2012-03-02 08:24:51 · 159 阅读 · 0 评论 -
hadoo 文件常用操作
http://www.360doc.com/content/11/0406/18/11586_107636584.shtml原创 2012-03-02 15:53:16 · 111 阅读 · 0 评论 -
hdfs 操作类自己的
package operateFile; import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java....原创 2012-03-02 17:57:00 · 106 阅读 · 0 评论 -
hadoop hdfs常用操作类
import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; ...原创 2012-03-05 10:03:41 · 135 阅读 · 0 评论 -
Hadoop MapReduce操作MySQL
http://www.javabloger.com/article/mapreduce-mysql.html原创 2012-03-05 17:33:20 · 116 阅读 · 0 评论 -
Hadoop Hive与Hbase整合
http://www.open-open.com/lib/view/open1328413245124.html http://www.blogjava.net/ivanwan/archive/2011/01/10/342685.html http://www.linuxidc.com/Linux/2012-01/51631.htm原创 2012-03-07 15:02:26 · 103 阅读 · 0 评论 -
hadoop例子
http://www.hadoopor.com/thread-3893-1-1.html http://blog.youkuaiyun.com/savechina/article/details/5835933 http://hi.baidu.com/lzpsky/blog/item/99d58738b08a68e7b311c70d.html原创 2012-03-22 22:09:31 · 113 阅读 · 0 评论 -
hadoop提高性能建议
http://langyu.iteye.com/blog/916304 http://apps.hi.baidu.com/share/detail/31497615 hadoop中每个节点map和reduce个数的设置调优 http://samuschen.iteye.com/blog/859971 Job.setNumMapTasks http://www.hadoopor...原创 2012-03-22 22:40:08 · 95 阅读 · 0 评论 -
hadoop 学习
http://hi.baidu.com/shuyan50/blog/item/576477be25acaa1819d81f19.html原创 2012-03-26 09:48:57 · 126 阅读 · 0 评论 -
hadoop输出文件格式
http://apps.hi.baidu.com/share/detail/31192333 http://hi.baidu.com/whyang2006/blog/item/1584447ea57eed280dd7dac3.html原创 2012-03-26 10:09:55 · 251 阅读 · 0 评论 -
hadoop搭建问题
file:///E:/hadoop/搭建/hadoop集群搭建%20-%20aidayei的专栏%20-%20博客频道%20-%20youkuaiyun.com.mht http://sunjun041640.blog.163.com/blog/static/256268322010631118132/ [root@localhost ~]# hadoop fs -ls #会出现如下情况 09/04...原创 2012-03-30 13:23:41 · 112 阅读 · 0 评论 -
hadoop mapreduce 原理
http://www.cnblogs.com/forfuture1978/archive/2010/11/14/1877086.html 加例子原创 2012-03-31 16:14:37 · 94 阅读 · 0 评论 -
hadoop 输出格式
http://blog.youkuaiyun.com/dajuezhao/article/details/6365053 http://blog.sina.com.cn/s/blog_62a9902f0100xnil.html http://my.oschina.net/u/146658/blog/49521 http://blog.youkuaiyun.com/inte_sleeper/art...原创 2012-04-05 17:18:36 · 102 阅读 · 0 评论 -
hadoop基础知识
http://www.blogjava.net/killme2008/archive/2008/06/05/206043.html原创 2012-03-02 08:00:07 · 108 阅读 · 0 评论 -
HadoopFileUtil
import java.io.File; import java.io.IOException; import java.io.InputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop...原创 2012-03-01 14:42:05 · 261 阅读 · 0 评论 -
hadoop ExtendedFileUtil
在Hadoop编写生产环境的任务时,定义以下任务,要求是相同的MapReduce任务,但Hadoop0.20API中并不总是可用。 1) 获取HDFS文件或目录的大小 通过查看执行任务的输入数据的数量,动态改变使用到任务中的reducer的数量。 2) 从HDFS目录中递归移除所有零字节文件 reducer中使用MultipleOutput类时(作用比Mapper中要小),会产生很...原创 2012-03-01 14:34:13 · 99 阅读 · 0 评论 -
hive hadoop 代码解析
http://www.tbdata.org/archives/1019原创 2012-04-25 13:16:25 · 91 阅读 · 0 评论 -
hadoop 自己封装的接口
http://www.360doc.com/content/11/0406/18/11586_107636584.shtml原创 2012-04-25 13:16:38 · 184 阅读 · 0 评论 -
hadoop使用中的几个小细节(二)
hadoop使用中的几个小细节(二) 1 某次正常运行mapreduce实例时,抛出错误 java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting… at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(...原创 2012-04-26 10:41:58 · 150 阅读 · 0 评论 -
hadoop eclipse
http://phz50.iteye.com/blog/932373 http://blog.youkuaiyun.com/snrqtdhuqf/article/details/7006489原创 2012-02-14 17:10:57 · 82 阅读 · 0 评论 -
How To Install Apache Hadoop Pseudo Distributed Mode on a Single Node
http://www.thegeekstuff.com/2012/02/hadoop-pseudo-distributed-installation/ 1. Create a Hadoop User # adduser hadoop # passwd hadoop 2. Download Hadoop Common # su - hadoop $ wget http:/...原创 2012-02-15 10:49:12 · 404 阅读 · 0 评论 -
hadoop lean web
mapreduce example http://phz50.iteye.com/blog/932373 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/index.html http://blog.youkuaiyun.com/snrqtdhuqf/article/details/7006489 分布式计算开源...原创 2012-02-15 15:26:14 · 174 阅读 · 0 评论 -
hadoop problems
hadoop执行stop-all.sh的时候总是出现 “no namenode to stop” 这个原因其实是因为在执行stop-all.sh时,找不到pid文件了。 在 HADOOP_HOME/conf/ hadoop-env.sh 里面,修改配置如下: export HADOOP_PID_DIR=/home/hadoop/pids pid文件默认在/tmp目录下,而/t...原创 2012-02-15 16:47:05 · 245 阅读 · 0 评论 -
hadoop传入参数
Hadoop传递参数的方法总结 http://eryk.iteye.com/blog/1118764原创 2012-02-24 08:44:27 · 140 阅读 · 0 评论 -
mapreduce example
http://www.yun5u.com/articles/articleshadoop-mapreduce-sql-multi-max-min.html原创 2012-02-24 09:20:27 · 197 阅读 · 0 评论 -
hadoop,hbase,hive安装全记录
http://blog.youkuaiyun.com/chengweipeng123/article/details/7174717原创 2012-02-29 11:18:58 · 88 阅读 · 0 评论 -
HADOOP TOMCAT
http://luyongfugx.blogbus.com/logs/41105881.html原创 2012-02-29 16:06:32 · 255 阅读 · 0 评论 -
hadoop 代码扩展
http://www.easyigloo.org/?p=1143原创 2012-03-01 14:10:11 · 89 阅读 · 0 评论 -
hadoop StringUtil
import java.util.*; public class StringUtil { /** * Converts an array of string to a string. */ public static String arrayToString(String[] stringArray, String OutputDelimit...原创 2012-03-01 14:33:28 · 147 阅读 · 0 评论 -
mapreduce Bet
import java.io.IOException; import java.io.PrintStream; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop...原创 2012-04-11 15:00:57 · 138 阅读 · 0 评论