
filesystem
文章平均质量分 68
Byane
这个作者很懒,什么都没留下…
展开
-
FastDFS学习日志
iniLoadFromFile:将当前目录改为指定的工作目录,初始化pContext结构,将pContext中的current_section指向global,同时初始化pContext的hash组。如果配置文件是网络文件,则从网络服务器上获取配置文件信息,否则直接从本地读取配置原创 2011-10-16 20:40:53 · 2213 阅读 · 0 评论 -
笔记2013.09.17
1.一个用c语言实现的key-value数据库Sophia,大概看了下用法,感觉挺像bdb的。官方网址:http://sphia.org/index.html源码:https://github.com/pmwkaa/sophia 2.Android开发入门资料介绍:http://www.bongizmo.com/blog/android-resources-each-dev原创 2013-09-17 12:40:39 · 884 阅读 · 0 评论 -
debian命令集(四)
vim相关命令1.将windows下文本拷贝到linux下,编译源文件有时会报错“-bash: ./db.py: /usr/bin/python^M: bad interpreter: No such file or directory”,这是因为windows和unix的编码方式不一致造成的,在linux下vim打开源文件,执行:set ff查看文件格式(ff即fileformat)原创 2013-03-03 16:12:21 · 859 阅读 · 0 评论 -
debian命令集(三)
Apache服务器的相关命令查看Apache服务器的版本信息:/usr/sbin/apache2 -vroot@debian:/etc/apache2/mods-enabled# /usr/sbin/apache2 -vServer version: Apache/2.2.16 (Debian)Server built: Nov 30 2012 08:33:45原创 2013-01-07 19:18:02 · 1019 阅读 · 0 评论 -
zookeeper
ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper是Google的Chubby一个开源的实现.是高有效和可靠的协同工作系统.Zookeeper能够用来leader选举,配置原创 2012-12-25 19:54:45 · 1948 阅读 · 0 评论 -
Google(二)——Bigtable
诣在管理结构话得数据,BigTable与数据库非常相似,但是:BigTable不提供数据库的关系模型;它使用行列字符串定位数据,将数据看做一个字符串流。Ø 数据模型BigTable是一个稀疏的分布式多维有序图,它使用行关键字,列关键字以及一个时间戳作为数据的索引。(row:string, column:string, time:int64) àstring以一个webtable为原创 2012-12-25 19:53:26 · 987 阅读 · 0 评论 -
Google(一)——GFS
设计目标: 性能、可伸缩性、可靠性以及可用性(传统目标);针对google应用提出的目标:1. 组件失效被认为是常态事件,而不是意外事件;2. 以通常的标准衡量,我们的文件非常巨大;(也会处理小文件,但是不需要对小文件做专门的优化)3. 绝大部分文件的修改是采用在文件尾部追加数据,而不是覆盖原有数据的方式;4. 应用程序和文件系统API的协同原创 2012-12-25 19:50:22 · 2396 阅读 · 0 评论 -
ceph学习(二)——设计架构
² 架构针对的应用环境是海量文件存储,且底层的存储设备是不可靠的,系统的负载和访问随着时间会动态变化。客户端使用的是用户态程序。 ² 元数据管理 使用元数据集群管理元数据请求,元数据都集中存放在OSD上,元数据服务器只用了处理元数据请求已经缓存部分元数据信息;mds集群上缓存的元数据信息使用动态子树分割管理。 进程打开一个文件:1.M原创 2012-12-25 19:46:52 · 15010 阅读 · 1 评论 -
ceph学习(一)——数据结构
ceph mds端的代码使用C++编写,mds端的重要数据结构:class MDS : public Dispatcher() 包括一个锁,一个定时器,一个消息句柄,客户端的连接,mds map和osd map,server对象,MDS的缓存对象,log对象,负载均衡处理对象等class Messenger ()消息处理对象,用于mds和其他节点的通讯class MonC原创 2011-11-14 18:04:26 · 6240 阅读 · 0 评论 -
存储系统元数据性能优化笔记(一)
《海量存储系统元数据服务器的设计及性能优化 》1.影响元数据服务器性能的因素有:元数据组织方式,通信性能,搜索效率2.通信性能:系统中元数据的访问通信数据量非常小,容易触发 TCP 协议的 Nagle 算法,即将小数据报集合成大的数据表后一起发送,从而导致client端意想不到的等待时间(在通信层产生的等待,非上层应用的等待),如果想要避免这种等待开销,需要设置套接字的TCP_NODE原创 2012-10-30 14:34:28 · 2055 阅读 · 1 评论 -
tfs文件系统笔记
上图是tfs官方给出的整体架构图。tfs是一个扁平的文件系统,类似于key-value存储系统,它没有所谓的目录层次结构,所有文件的文件名也不像传统的文件系统(如/home/test/mypicture)这样,而是由tfs文件系统的NameServer给定(这点有点像facebook的haystack系统)。tfs主要是用来处理taobao的图片文件,也就是常见的海量小文件应用。众所周知,小文件带原创 2012-08-18 21:13:07 · 3951 阅读 · 2 评论 -
系统rm的处理机制
在linux下,常常可以执行rm -rf /home/tmp/test这样的命令删除一个目录,或是使用其他的参数删除一个文件或目录,纠结在系统内部,这些删除命令是如何处理的呢? 这些命令其实是由系统提供的可执行程序实现的,而这些程序调用了库函数或是直接调用了系统调用函数,主要的相关的系统调用有两个,下面先介绍这些相关的系统调用函数:asmlinkage long sy原创 2012-04-11 15:41:37 · 3307 阅读 · 0 评论 -
GIGA+调研
背景1.现在越来越多的科学计算和网络服务将文件系统视为一个高速的轻量级“数据库”,将文件当做一个大目录下的无结构记录;2.程序级的并发导致对元数据服务的并发性要求越来越高目前文件系统的瓶颈:1.由单一MDS管理元数据,限制了系统的扩展性2.将目录的子树分散到不同的mds上管理,但是每个目录及其子树仍然由单一的mds管理;3.有些系统允许将server作为代理,将请求发送到真原创 2011-10-24 09:39:31 · 4732 阅读 · 3 评论 -
笔记2013.09.18
1. hadoop / SQL / python脚本?http://www.chrisstucchio.com/blog/2013/hadoop_hatred.html2.android API 对照表Code name Version API level(no code name) 1.0 API level 1(no code name) 1.1 API原创 2013-09-18 12:44:51 · 862 阅读 · 0 评论