
分布式文件系统
wishfly
这个作者很懒,什么都没留下…
展开
-
LoadBehavior
3)LoadBehavior:DWORD类型,用于描述COM加载项的加载方式,通常设置为3(1 + 2). 值描述0断开,不加载COM加载项1连接,加载 COM加载项2启动时加载,主应用程序启动时加载并连接COM加载项8需要时加载,转载 2011-11-17 16:07:02 · 2355 阅读 · 0 评论 -
FastDFS和GFS以及NFS的对比
因为刚刚涉足分布式文件存储这个领域,最近看了很多文档,现在感觉有点晕,目前对FastDFS很有兴趣,想引入项目中,请教一下,这个系统和GFS以及NFS对比,有什么区别和优势?这两个可能不是一个范畴的,或许与KFS,Gluster或lustre更接近一些,能不能描述一下这几个的区别,因为这方面的文档很少,这么好的东西要推广,也要有一个比较明确的对比和说明,更容易做方案去说服老板。^_^转载 2011-11-06 17:16:04 · 33362 阅读 · 1 评论 -
FastDFS 是干什么的?
>> 提供文件分布缓存下载的吗?目前没有专门实现缓存机制,只能依赖于操作系统对文件缓存,我想对于热点文件,效果应该还是不错的。>>FASTDFS 有核心服务器吗? 会出现单点故障吗? 或者说 每个group 会出现单点故障吗?两类角色,tracker和storage。都支持多台服务器,实现了负载均衡和冗余备份。一个group至少有两台服务器,就不存在单点故障的问题。>转载 2011-11-06 17:18:53 · 4533 阅读 · 0 评论 -
fdfs的所有API函数列表?
可以查看源码client目录下的头文件 tracker_client.hstorage_client.hstorage_client1.h测试程序包括,可以当做demo:fdfs_test.cfdfs_test1.c监控程序:fdfs_monitor.c转载 2011-11-06 15:46:31 · 1040 阅读 · 0 评论 -
編譯FastDFS
参见FastDFS源码目录下的文件INSTALL。摘录如下:#step 1. download FastDFS source package and unpack ittar xzf FastDFS_v1.x.tar.gz#for example:tar xzf FastDFS_v1.18.tar.gz#step 2. enter the FastDFS dircd F转载 2011-11-06 16:53:07 · 1212 阅读 · 0 评论 -
FastDFS windows 客户端源码 (VS2005)
因为项目需要移值了fastdfs的客户端, 只测试了上传和下载. 基于的版本是 FastDFS v1.17 (google code上下载的)附件是源码(VS2005工程)PS:common/sockopt.c 中 tcpsendfile() 函数里这样的代码:if (read(fd, buff, send_bytes) != send_bytes){ r转载 2011-11-06 17:03:22 · 5335 阅读 · 1 评论 -
NameValuePair 的作用
... meta_list = new NameValuePair[2];meta_list[0] = new NameValuePair("时间", "20:11");meta_list[1] = new NameValuePair("命令", "3");...results = client.upload_file("group1", file_buff, "txt"转载 2011-11-06 17:07:48 · 37629 阅读 · 0 评论 -
FastDFS与hadoop的区别
主要是定位和应用场合不一样。hadoop的文件系统HDFS主要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大,采用了分块(切分)存储的方式;FastDFS主要用于大中网站,为文件上传和下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较好,FastDFS不会对文件进行分快(切分)存储。 http://219.148.35.28/thread-2001056-1-转载 2011-11-06 17:21:17 · 19553 阅读 · 0 评论 -
FastDFS源码阅读笔记(一)
FastDFS是fishman大牛做的分布式文件系统,并且将项目源码进行了开源,小弟抱着学习的态度,学习了源码,并且将自己关心的比如上传文件,下载文件,文件的数据同步在看的途中做了下学习笔记. 首先是数据服务器storage部分.(一).storage_nio.c//对于超时的处理:删除文件列表,释放任务到队列里面void task_finish_clean_u转载 2011-11-06 17:32:04 · 3276 阅读 · 0 评论 -
百度贴吧10亿量级LAMP架构分享
贴吧是功能性产品,唯快不破是永恒的准则,这一特点决定了快速迭代是需要解决的关键性问题。快速迭代,分解开来有如下部分:开发阶段,快速开发;测试阶段,包含了环境快速搭建、自动化测试工具;运维阶段,包含了集群管理技术、自动化运维工具;同时,这三方面的工作需要一个整体性的解决方案衔接起来。早期的贴吧,作为一个高性能社区,功能相对单一,全部采用C语言开发,系统可重用程度低,开发、测试效率低,运维方面的积转载 2011-12-05 19:06:48 · 1147 阅读 · 0 评论 -
.tracker中实现均衡负载的代码在哪
>>1. log sync 和 binlog sync有什么分别吗前者指记录出错信息的日志文件,binlog指二进制格式的数据修改记录>>2.sched_thread_entrance这个线程入口主要是用于记录log吗这是调度进程,用于执行周期性任务。>>3.tracker中实现均衡负载的代码在哪tracker_mem.c或tracker_service.c转载 2011-11-06 16:40:22 · 1030 阅读 · 0 评论 -
文件及目录结构
FastDFS服务器端运行时目录结构如下: ${base_path} |__data:存放数据文件 |__logs:存放日志文件其中,${base_path}由配置文件中的参数“base_path”设定。一、tracker servertracker server目录及文件结构: ${base_path} |__data转载 2011-11-06 15:57:08 · 1025 阅读 · 0 评论 -
FastDFS文件名策略及对小文件的优化
0.简介FastDFS是一个应用级分布式文件存储服务,其采用中心型结构(类似GFS、HDFS、TFS等),主要用于大中型网站存储资源文件。FastDFS具有轻量级,支持高并发放访问,负载均衡,可扩展等优点。而FastDFS最大的亮点就是对小文件的存储性能较好,这主要来自于其文件名策略。1.小文件存储性能优化小文件的性能瓶颈主要来自于对元数据服务器(如FastDFS中的TrackerSe转载 2011-11-06 15:29:32 · 5830 阅读 · 0 评论 -
“找不到coredll.dll”????
重装系统后又重装了VS2008 写了一个win32 console application的helloworld做测试,结果提示“找不到coredll.dll”,下载到该dll到system32下,又提示找不到mmvcr70.dll,mmvcp70.dll。全部下载后再次编译,提示“无法定位序数于...上”。 初步分析为dll库版本问题,但苦于找不到正确的版本。在另一台机器上拷贝时发现转载 2011-11-18 15:16:59 · 8138 阅读 · 0 评论 -
FastDFS和MogileFS的对比
国人做的用C语言写的轻量级的分布式文件存储,只有 tracker和storage 节点。没有使用数据库。FastDFS设计时借鉴了MogileFS的一些思路。FastDFS是一个完善的分布式文件存储系统,通过客户端API对文件进行读写。可以说,MogileFS的所有功能特性FastDFS都具备,MogileFS网址:http://www.danga.com/mogilefs/。另外,相对于转载 2011-11-06 13:50:49 · 5353 阅读 · 0 评论 -
分布式存储系统FastDFS手册之一简介及系统结构
1 功能简介FastDFS是一个开源的轻量级分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。主页地址:http://code.google.com/p/fastdfs/2 系统结构2.1跟踪器与存储结点FastDFS服务端有两个角色:跟踪转载 2011-11-06 14:05:04 · 1264 阅读 · 0 评论 -
分布式存储系统FastDFS手册之二安装配置
接上:分布式存储系统FastDFS手册之一简介及系统结构3 安装配置3.1 安装FastDFS的安装步骤如下:(1)系统必要包的准备,如gcc等;(2)下载FastDFS源代码并解压;tar xzf FastDFS_v1.x.tar.gz例如:tar xzf FastDFS_v1.11.tar.gz(3)进入FastDFS目录 cd FastDFS转载 2011-11-06 14:06:37 · 1022 阅读 · 0 评论 -
分布式存储系统FastDFS手册之三机制原理及其与MogileFS比较
4 机制原理研究4.1同步机制在FastDFS的服务器端配置文件中,bind_addr这个参数用于需要绑定本机IP地址的场合。只有这个参数和主机特征相关,其余参数都是可以统一配置的。在不需要绑定本机的情况下,为了便于管理和维护,建议所有tracker server的配置文件相同,同组内的所有storage server的配置文件相同。 tracker server的配置文件转载 2011-11-06 14:08:11 · 1667 阅读 · 0 评论 -
分布式文件系统FastDFS架构剖析
文/余庆 FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务转载 2011-11-06 05:29:45 · 1197 阅读 · 0 评论 -
开源分布式文件系统
FastDFS是一个开源的轻量级分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文件管转载 2011-11-06 04:21:54 · 1001 阅读 · 0 评论 -
FastDFS基本结构
0.简介FastDFS是基于互联网应用的开源分布式文件系统,主要用于大中型网站存储资源文件,如图片、文档、音频、视频等。FastDFS采用类似GFS的架构,用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX 系统。用户端只能通过专有API对文件进行存取访问,不支持POSIX接口方式。准确地讲,GFS以及 FastDFS、mogileFS、HDFS、TFS等类GFS系统都不是系统级转载 2011-11-06 15:27:20 · 4120 阅读 · 0 评论 -
FastDFS api使用手册
为了避免大家有一样的烦恼,写了个api使用手册,提取出精华部分分享,请自己对齐缩进;本api使用手册是基于循环处理在线请求的应用场景考虑的,所以有continue或break用来表示本个请求处理结束,继续处理后面的请求;个人可以根据情况可以设计成tracker和storage短连接的简单方式,也可设计为storage连接池的方式,步骤都一样:FastDFS api使用手册之文件上传转载 2011-11-06 16:21:55 · 12895 阅读 · 1 评论 -
Beatles小记-分布式数据流分析框架(一)
Author:放翁(文初)Email:fangweng@taobao.comMblog:weibo.com/fangwengBlog: http://blog.youkuaiyun.com/cenwenchu79/ 概述 重要:全文内容都是参照这个源码地址内容所写,因此两边对着看会更清晰明了:https://github.com/cenwenchu/beatles转载 2011-12-08 18:09:30 · 814 阅读 · 0 评论