flyonok的专栏

KFS（KOSMOS DISTRIBUTED FILE SYSTEM），不是KFC(肯德基)哦，是一个类似GFS的开源分布式文件系统。自从去年Google 发布了他的几款主要产品gfs,bigtable,map-reduce 的相关文档后，一些牛人就马上行动起来，折腾出来实现类似功能的开源产品了，kfs就是其中之一，主要模仿的是gfs的功能。gfs,bigtable,map-reduce是

GlusterFS是一个高层次的分布式文件系统解决方案。通过增加一个逻辑层，对上层使用者掩盖了下面的实现，使用者不用了解也不需知道，文件的存储形式、分布。内部实现是整合了许多存储块（server）通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统，这样的许多存储块可以通过许多廉价的x86主机，通过网络搭建起来。其相对于传统NAS 、SAN、Ra

著名音乐站点Last.fm发布了基于Python的Dumbo（小 飞象）项目，Dumbo能够帮助Python开发者更方便的编写Hadoop应用，并且Dumbo为MapReduce应用提供了灵活易用的Python API。Last.fm的开发者，同时也是Dumbo项目发起人Klaas Bosteels 认为，对于定制Hadoop应用，使用Python语言代替Java会让工作变得更有效率。pr

import org.eclipse.core.runtime.IProgressMonitor;出错.跑到相应的文件夹下去看jar包里的文件,确实没有这个,在网上查了下,原来所要的IProgressMonitor在org.eclipse.equinox.common这个jar中,所以再导入这个jar到你的工程中就可以了

一 :配置,hadoop-site.xml的配置如下 fs.default.name s3://BUCKET fs.s3.awsAccessKeyId ID fs.s3.awsSecretAccessKey SECRET或者 fs.default.name s3://ID:SECRET@BUCKET二:hadoop通过package or

PHP 读取HADOOP的HDFS文件四月 29th, 2010 进行评论Hadoop的分布式文件系统HDFS为java提供了原生的接口，可以像访问地文件一样的，对HDFS中的文件进行增删改查等操作。对于其他非java语言的支持，hadoop使用了Thrift。对于该方式，hadoop里针对thrift的hadoop-0.20.2/src/contrib/thriftfs/