- 博客(3)
- 收藏
- 关注
RSS订阅原创 hdfs读流程分析
hdfs一次读的过程，涉及三个部分：Client、Namenode、Datanode，通过Client与Namenode之间的通信（取文件所在的block和datanode）和Client与Datanode之间的数据通信来完成一次的读的过程。 首先看一下客户端Client，Client利用FileSystem API来读取数据，主要需要三个步骤：Config...
2011-11-16 20:08:17
199
原创 【转】GFS, HDFS, Blob File System架构对比
原文链接地址: http://www.nosqlnotes.net/archives/119作者：chuanhui 分布式文件系统很多，包括GFS，HDFS，淘宝开源的TFS，Tencent用于相册存储的TFS (Tencent FS，为了便于区别，后续称为QFS)，以及Facebook Haystack。其中，TFS，QFS以及Haystack需要解决的问题以及架构都很类似，这三...
2011-06-09 21:53:21
190
原创 Hadoop常见问题及解决办法
[转][url]http://blog.youkuaiyun.com/zyj8170/archive/2010/11/26/6037934.aspx[/url]1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对...
2010-12-14 13:59:51
638
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人