
Cloud Computing
fly542
喜欢开源,乐于交流!从事分布式存储相关工作,QQ:634648088,MSN:feitian@hotmail.com
展开
-
hadoop心跳机制解析
心跳的机制大概是这样的:1) master启动的时候,会开一个ipc server在那里。2) slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节转载 2011-09-21 14:29:14 · 11916 阅读 · 0 评论 -
raid技术概述
1.RAID技术概述RAID:即廉价磁盘冗余阵列 / 独立磁盘冗余阵列RAID (redundant array of independent disks, originally redundant array of inexpensive disks) is a storage technology that combines multipledisk drive compone转载 2014-05-07 14:33:44 · 1436 阅读 · 0 评论 -
mongodb shell 执行 js 脚本
利用mongodb执行js脚本的方法如下:./mongo 10.1.18.181:12000/xmail_db test.js test.js 内容如下:var cursor=db.getCollectionNames(); // 获取collection 名for(i=0;i{ //printjson(cursor[i]); //var db=connect(原创 2013-03-07 17:25:07 · 16112 阅读 · 0 评论 -
MongoDB中shard key的选择
将存储在MongoDB数据库中的Collection进行分片需要选定分片Key(Shard key),对于分片Key的选定直接决定了集群中数据分布是否均衡、集群性能是否合理。那么我们究竟该选择什么样的字段来作为分片Key呢?有如下几个需要考虑点。以下述记录日志的Document为例:{server : "ny153.example.com" ,application : "apac翻译 2012-07-05 10:59:41 · 2895 阅读 · 0 评论 -
MongoDB中arbiter的使用
通过对官方文档的研究得知,如果在rs模式中,先要2份数据备份的话,就必须使用arbiter,因为如果仅有2个副本,那么通过MongoDB自身的选举策略是无法决定哪个是primary,哪个是secondary的,所以需要额外的添加一个arbiter来参与投票选举,当前的MongoDB中最多支持副本集为12个,那么就需要额外的一个arbiter作为投票机器。另外,如果当前rs中有一半以上的机器是宕机的原创 2012-07-04 16:02:58 · 11552 阅读 · 0 评论 -
GlusterFS命令解析过程
前些时间通过对GlusterFS的源码的阅读和调试,梳理了一下基本的命令流程,今后会陆续的将更深入的理解与大家共享!原创 2012-01-29 15:23:34 · 1212 阅读 · 0 评论 -
Hadoop HDFS和KFS (CloudStore)的比较
HDFS和KFS 比较By云深作者:Terry/Lanlan/Adam 2009年1月转载请注明出处1、HDFS 和 KFS 简介两者都是GFS的开源实现,而HDFS 是Hadoop 的子项目,用Java实现,为Hadoop上层应用提供高吞吐量的可扩展的转载 2011-10-11 13:25:55 · 1880 阅读 · 0 评论 -
对于HDFS中元数据的一些疑问,欢迎大家讨论
HDFS中元数据中是否有冗余?如果有冗余那么冗余机制是什么?冗余写入过程是什么?HDFS中元数据是否有读写权限?如果有权限,通过什么方式控制权限?客户端与元数据是否存在同步问题,如果存在那么如何同步?是否有元数据锁?是否支持entry锁? 期待您的详细交流,邮箱fly542@原创 2011-09-26 16:24:23 · 2064 阅读 · 0 评论 -
对Hadoop-HDFS性能造成重大影响的杀手-Shell
在测试Hadoop时, 使用NameNode身上的dfshealth.jsp管理页面发现,DataNode在运行的过程中,Last Contact参数时常会超过3。LC(Last Contact)的意思是表明DataNode有多少秒的时间未向NameNode发送心跳包了。然而默认原创 2011-09-25 16:08:34 · 3398 阅读 · 0 评论 -
HDFS的缺点及改进策略
HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点。目前而言,它在以下几个方面就效率不佳:低延时访问HDFS不太适合于那些要求低延时(数十毫秒)访问的应用程序,因为HDFS是设计用于大吞吐量数据的,这是以一定延时为代价的。HDFS是单Master的,所原创 2011-09-25 16:03:33 · 3647 阅读 · 1 评论 -
HDFS详细介绍
HDFS:(Hadoop Distributed File System)分布式文件系统,提供高吞吐量的应用程序数据访问,对外部客户机而言,HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。但是 HDFS 的架构是基于一组特定的节点构建的,这是由它自身原创 2011-09-25 15:58:49 · 10677 阅读 · 3 评论 -
Hadoop入门介绍
Hadoop这个名字不是一个缩写,它是一个虚构的名字。该项目的创建者,Doug Cutting如此解释Hadoop的得名:"这个名字是我孩子给一个棕黄色的大象样子的填充玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子是这方面的高手。Go原创 2011-09-23 14:53:11 · 39803 阅读 · 8 评论 -
云计算技术汇总
虚拟化技术 虚拟化技术将物理资源进行了替换,呈现给用户的是一个与物理资源有相同功能和接口的虚拟资源,可能是建立在一个实际的物理资源上,也可能是跨多个物理资源,用户不需要了解底层的物理细节。虚拟化技术根据对象不同,可分为存储虚拟化、操作系统虚拟化和应用虚拟化等。 弹原创 2011-09-22 15:09:38 · 2622 阅读 · 0 评论 -
如何在gluster的源码中添加自己的xlator
本文并不说明如何编写一个xlator。在glusterfs3.6.1下验证成功 目标在glusterfs-3.6.1/xlators/debug/下建立一个自己的xlator库并可以统一安装到系统目录下一、 解压glusterfs3.6.1.tar.gztar zxvf glusterfs3.6.1.tar.gzcd glusterfs3.6原创 2014-11-17 17:30:44 · 2506 阅读 · 0 评论