- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 HFILE分析
该文档转载至http://www.open-open.com/lib/view/open1388368126000.html（手动批注） 在这里主要分析一下HFile V2的各个组成部分的一些细节，重点分析了HFile V2的多级索引的机制，接下去有时间的话会分析源码中对HFile的读写扫描操作。HFile和流程：如下图，HFile的组成分成四部分，分别是Scanned Block
2014-01-20 22:33:53
1588
转载 hdfs硬盘中dfs.data.dir相关和一些说明
HDFS 通过dfs.data.dir 字段在配置文件中查询 DFS 的数据在本地文件系统中的存放位置。如果在服务器上配置了多块硬盘（假设都已经挂载到本地文件系统中），我们希望 HDFS 能尽量均衡、充分的利用磁盘。理论上 HDFS 也确实能胜任这项工作。在 HDFS 中，这样的一个存放数据的本地文件系统中的目录被称为volume。直接定位到 Datanode.java 中的代码：
2012-06-12 23:21:28
3281
转载 hadoop-0.23版本安装和一些参数说明
该文章是转载至http://blog.youkuaiyun.com/bertzhang/article/details/7029849。hadoop 0.23.0比先前的0.20版本有了很大的改动，而我目前最感兴趣的还是HDFS部分的federation部分，由于相关配置资料比较少，下面就把这两天配置情况总结一下作为备忘：要配置hdfs，关键要知道namenode、datanode、sec
2012-06-04 23:13:06
1043
转载 bigdata
当前的bigdata已经非常热，hadoop系统已经成为这个领域解决问题最快最廉价的解决方案。今天先转载一个bigdata的材料。材料里介绍了很多当前bigdata流行的技术。也提到了下一代bigdata的架构，是否可以是下一代值的讨论，目前很多公司已经开始使用这样的架构了。http://www.slideshare.net/eddodds/big-data-infrastructure1
2012-04-24 22:10:08
407
NextGen Infrastructure for Big Data(bigdata hadoop)
2012-04-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人