
hadoop
wzm112
这个作者很懒,什么都没留下…
展开
-
基于Hadoop平台的云存储应用实践
参考网站:http://cloud.doit.com.cn/article/2012/0328/2574926.shtml云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心,按自己的需求进行运算。目前,对于云计算仍没有普遍一致的定义。结合上述定义,可以总转载 2012-11-09 19:07:22 · 1449 阅读 · 0 评论 -
Hadoop平台上的海量数据排序
参考资料:http://blog.chinaunix.net/uid-18942516-id-2978046.htmlYahoo!研究人员使用Hadoop完成了Jim Gray基准排序,此排序包含许多相关的基准,每个基准都有自己的规则。所有的排序基准都是通过测量不同记录的排序时间来制定的,每个记录为100字节,其中前面的10字节是键,剩余的部分是数值。MinuteSort是比较转载 2013-03-20 13:18:15 · 769 阅读 · 0 评论 -
CentOS的Hadoop集群配置(一)
参考网站:http://blog.youkuaiyun.com/inte_sleeper/article/details/6569985参考资料:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/http://www.michael-noll.com/tuto转载 2013-03-17 21:42:28 · 558 阅读 · 0 评论 -
CentOS的Hadoop集群配置(二)
参考网站:http://blog.youkuaiyun.com/inte_sleeper/article/details/6569990下面的教程把它们合并至multi-nodecluster。 1. 合并single-node至multi-nodecluster修改master的hadoop/conf/core-site.xml: hadoop.tmp.dir转载 2013-03-17 21:43:37 · 708 阅读 · 0 评论 -
java.io.IOException: File /home/hadoop/mapred/system/jobtracker.info could only be replicated to 0 n
参考网站:http://blog.youkuaiyun.com/posa88/article/details/7870627我又再次在关闭hadoop前format了,然后又出现这个错误。java.io.IOException: File /home/hadoop/mapred/system/jobtracker.info could only be replicated to 0转载 2013-03-17 21:40:18 · 919 阅读 · 0 评论 -
Hadoop的dfs -ls 报错:ipc.Client: Retrying connect to server
参考网站:http://blog.youkuaiyun.com/zhangheng1225/article/details/8246785有项目需要用到HBase,配置Hadoop集群的情况如下:OS : Ubuntu 11.04Hadoop 2.02三台虚拟机IP分配如下:192.168.128.131 master 兼slave192.168.128.132 slave转载 2013-03-17 21:38:39 · 30148 阅读 · 0 评论 -
Hadoop完全分布式配置
http://www.cnblogs.com/flyoung2008/archive/2011/11/29/2268302.html环境:CentOs5、hadoop0.20.203、jdk1.6.0_29namenode:centos1(ip:192.168.1.101)datanode:centos2(ip:192.168.1.103)、centos3(ip:192.1转载 2013-03-17 23:50:31 · 523 阅读 · 0 评论 -
布置伪分布式环境-故障及解决
参考网站:http://blog.sina.com.cn/s/blog_4e4ee8ed0100zafi.html1、hadoop fs -ls不能查询,上图————————————————————————————[shim@hadoop ~]$ hadoop fs -lsls: Cannot access .: No such file or directory.转载 2013-03-17 22:45:39 · 554 阅读 · 0 评论 -
如何使用Python为Hadoop编写一个简单的MapReduce程序(这个人T字还有好几篇精华的可以看)
参考网站:http://www.cnblogs.com/end/archive/2012/08/13/2636175.html 转载自:http://asfr.blogbus.com/logs/44208067.html 在这个实例中,我将会向大家介绍如何使用Python 为 Hadoop编写一个简单的MapReduce程序。尽管Hadoop转载 2013-03-17 22:44:08 · 692 阅读 · 0 评论 -
hadoop常用命令
参考网站:http://blog.chinaunix.net/uid-10915175-id-3258669.html启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容转载 2013-03-17 21:37:14 · 531 阅读 · 0 评论 -
用hadoop中的libhdfs和fuse-dfs构建快速云存储(出自 实践检验真理 博客)
参考网站:http://slaytanic.blog.51cto.com/2057708/753158/安装版本:OS版本:CentOS 5.4Hadoop版本:0.20.203.0gcc:系统默认4.1.2Jdk:1.6.0.21FUSE:2.7.4环境需求:automake,autoconf,m4,libtool,pkgc转载 2012-11-09 19:13:01 · 1114 阅读 · 0 评论 -
Hadoop是怎么分块的
参考网站:http://blog.youkuaiyun.com/wh62592855/article/details/7227198?reload可以结合之前转过的一篇文章一起看http://blog.youkuaiyun.com/wh62592855/article/details/6583364##############################################转载 2013-03-26 19:35:54 · 570 阅读 · 0 评论