
hadoop技术内幕
文章平均质量分 80
天然呆的技术博客
纯天然的技术小呆呆
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
DFSClient技术内幕 (DFSClient介绍以及其初始化)
以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们,不足之处,欢迎斧正-------------------------------------------------致谢道格等人!注:hadoop版本0.20.2,有童鞋表示看代码头晕,所以本文采用纯文字描述,哥还特意为你们把字体调调颜色噢 ^ o ^大家都知道,hadoop是最优秀的大数据处理框架之一,而本文研究的DFSClient原创 2014-02-15 11:51:15 · 5541 阅读 · 0 评论 -
DFSClient技术内幕(读取数据)
以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们,不足之处,欢迎斧正-------------------------------------------------致谢道格等人!注:hadoop版本0.20.2,有童鞋表示看代码头晕,所以本文采用纯文字描述,哥还特意为你们把字体调调颜色噢 ^ o ^上一篇文章,我们一起讨论了DFSClient初始化过程,下面我们一起讨论关于数据原创 2014-02-15 11:52:51 · 2596 阅读 · 0 评论 -
DataNode内幕(一):数据存储和它的小伙伴们
大家好,今天我们开始学习DataNode,一个相对于分布式客户端,较为复杂的一个hadoop集群的VIP会员DataNode:数据节点,在分布式集群中和真正和数据打交道的一个对象,它的职责就是存储数据和读取数据,维护它所管理的数据节点:简单的说,一个网络拓扑节点,在一个集群内,我们将一台计算机或者一台虚拟机称之为一个节点,同时一台机器(计算机和虚拟机的统称)可以属于多个集群,对于交叉集群部原创 2014-02-15 11:56:57 · 1114 阅读 · 0 评论 -
DFSClient技术内幕(数据的写入--OutputStream的初始化)
以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们,不足之处,欢迎斧正-------------------------------------------------致谢道格等人!注:hadoop版本0.20.2,有童鞋表示看代码头晕,所以本文采用纯文字描述,哥还特意为你们把字体调调颜色噢 ^ o ^上一篇文章,我们一起讨论了DFSClient数据的校验和读取过程,下面我们一原创 2014-02-15 11:53:53 · 2994 阅读 · 0 评论 -
DFSClient技术内幕(写入数据——管道的建立)
以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们,不足之处,欢迎斧正-------------------------------------致谢道格等人!注:hadoop版本0.20.2,有童鞋表示看代码头晕,所以本文采用纯文字描述,哥还特意为你们把字体调调颜色噢 ^ o ^上一篇文章,我们一起讨论了写入数据的准备过程,创建OutputStream下面我们一起讨论关于数据写入的原创 2014-02-15 11:55:08 · 2128 阅读 · 0 评论 -
DFSClient技术内幕(写入数据——数据写入过程)
以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们,不足之处,欢迎斧正-------------------------------------致谢道格等人!注:hadoop版本0.20.2,有童鞋表示看代码头晕,所以本文采用纯文字描述,哥还特意为你们把字体调调颜色噢 ^ o ^上一篇文章,我们一起讨论了数据管道的建立,创建OutputStream下面我们一起讨论关于数据写入的原创 2014-02-15 11:55:55 · 1995 阅读 · 0 评论 -
深入理解hadoop(一)----Common的实现----Configuration
一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息[java] view plaincopyConfiguration conf = new Configuration(); conf.addResource("core-default.xml"); conf.addResource原创 2014-02-19 11:15:10 · 1185 阅读 · 0 评论 -
hadoop提高(一):文件系统
文件系统1,常用文件系统操作:创建空文件,删除,打开,关闭,读,等一些常用操作2,块管理:连续分配,链接表,索引链式表(使用)3,索引链式表:取出每个磁盘块的指针字段,把它放到一张索引表中,就形成了索引链式表分配4,文件系统的保护控制:口令,密码,存取控制矩阵,存取控制表和权限表(使用)5,linux本地文件系统:Ext2,Ext36,虚拟文件系统:VFS(该文件系统提供对原创 2014-04-17 14:07:18 · 805 阅读 · 0 评论