KFS分布式文件系统测试报告

分布式系统实验报告 分布式系统实验报告,C# Socket编程、RMI远程方法调用、C#IP组播通信 立即下载

0-环境

1-写性能

2-读性能

3-灾备

 

---------0.环境---------

共四台服务器:25.mzhen.cn - 28.mzhen.cn

metaserver: 25.mzhen.cn

meta_info_bak: 26.mzhen.cn

chunkserver: all

replica: default(3)

机器配置:16*Xeon 2.27, 16GB, 2TB * 2(7200k, raid5, XFS 文件系统), 1Gbps

测试发现,CPU利用率不足10%,网络速度一般在400-700Mbps。实际瓶颈应该在硬盘IO。

 

---------1.写性能---------

1.1-测试程序

FCbenchmark/load-data.cpp

 

1.2-测试结果

单文件连续写,平均时间5GB/80秒(62.5MB/s)

多文件(10MB/文件)连续写,平均时间5GB/80秒(62.5MB/s)

 

1.3-异常情况

集群中的4台服务器只有3台接收写数据,记为ABC。手工停掉B的chunkserver进程,则D会开始写入数据。

重启集群,仍然只有3台机器接收数据,但变为ABD。

目前还不清楚造成这一现象的原因。

 

---------2.读性能---------

2.1-测试程序

FCbenchmark/scan-data.cpp

2.2-测试结果

单文件顺序读,5GB/70秒左右(71.4MB/s)

单文件随机读,读取5MB后随机跳转,5GB/95秒左右(52.6MB/s)

 

2.3-异常情况

 

2.4-读写同时进行-不同文件

5GB写入时间,115秒左右(43.4MB/s)

5GB读取时间,140秒左右(35.7MB/s)

 

2.5-读写同时进行-相同文件

可以进行,速度和2.4节基本一致。

 

---------3.灾备---------

3.1-写过程灾备-chunkserver

在全速写入数据时,停掉某台机器的chunkserver服务。

写数据程序得到如下提示,

06-04-2010 16:11:01.683 INFO - (KfsWrite.cc:472) Write failed...chunk = 1046, version = 1, offset = 25165824, error = -113 

06-04-2010 16:11:01.684 INFO - (KfsWrite.cc:304) Daisy-chain: 192.168.1.37 30000 192.168.1.38 30000 192.168.1.35 30000 ; Will retry allocation/write on chunk 1046 due to error code: -113 

06-04-2010 16:12:01.690 INFO - (KfsWrite.cc:372) Forced allocation: chunk=1046, version=2

之后继续写入过程。可以观察到现存机器的数据量持续增加,写入速度没有明显变化。

写入完成后尝试读取该文件,没有出现异常

 

3.2-写过程灾备-metaserver

在全速写入数据时,停掉metaserver进程。

写数据程序得到如下提示,

Connect: : Connection refused,并不断重复(10分钟以上)

此时重新启动metaserver,写入过程自动恢复。

 

3.3-读过程灾备-chunkserver

在全速读取数据时,停掉chunkserver进程。

读过程继续,速度不变。

继续停止chunkserver进程,当保存所需数据的所有chunkserver都停掉后,读取程序得到如下提示,

06-05-2010 13:41:29.005 INFO - (KfsRead.cc:150) Read done from  on dir1/perf3: @offset: 30571233281: asked: 5120000, returning 4833281, errorcode = 1

 

3.4-读过程灾备-metaserver

在全速读取数据时,停掉metaserver进程。

读取程序得到如下提示,

Connect: : Connection refused

06-05-2010 13:45:17.965 INFO - (KfsRead.cc:150) Read done from  on dir1/perf3: @offset: 6576668672: asked: 5120000, returning 2588672, errorcode = 1048576 

Connect: : Connection refused

06-05-2010 13:45:32.967 INFO - (KfsRead.cc:150) Read done from  on dir1/perf3: @offset: 6576668672: asked: 5120000, returning 0, errorcode = 0

之后程序退出。

 

3.5-数据受损-chunkserver

删除chunkserver上的数据,重新启动chunkserver。

日志中得到如下提示,

06-05-2010 13:52:20.006 INFO - (Replicator.cc:123) Starting re-replication for chunk 16282 with size 67108864 

06-05-2010 13:52:20.008 INFO - (Replicator.cc:138) Offset: 67108864 is past end of chunk 67108864 

可以认为系统自动开始了数据恢复。

 

3.6-数据受损-metaserver

删除metaserver上的元数据,重新启动整个集群。

日志中得到如下提示,

06-05-2010 14:05:52.480 INFO - (LayoutManager.cc:263) Non-existent chunk id = 17885 => stale 

尝试读取之前写入的文件,提示文件不存在。

 

注意1,

配置文件machines.cfg中指定的backup_path不起作用。

注意2,

如果没有手工回复metaserver的元数据,而直接重启了metaserver进程,metaserver会自动重建元数据,并且会擦掉集群中所有数据。

kfs 分布式系统的文件管理分析 kfs 分布式文件系统的文件管理的实现、复杂度分析 立即下载

相关推荐

KFS文件系统所有版本(0.2-0.3)5个版本

这里的五个版本,最新的是2009/04/27!大家可以仔细研究!喜欢架构,开发的可以看看!

分布式文件系统KFS

  Kosmos distribited file System(KFS) ,是一个专门为数据密集型应用(搜索引擎,数据挖掘等)而设计的存储系统,类似于Google的GFS和Hadoop的HDFS分布式文件系统。KFS使用C++实现,支持的客户端包括C++,Java,Python。   KFS有三部分组成,分别是metaserver/chunkserver/client library 转载于:...

weixin_30546189的博客 291

分布式文件系统白皮书 KFS

支持局域网及广域网多服务器分散存储文件。 采用文件信息流与数据流分离架构。 支持通过大规模集群提供高并发、高吞吐量文件服务。 内建文件多副本机制及名称同步机制,预防任何单点故障。 支持多种高级功能:文件多版本管理、文件操作日志、文件回收站机制、文件事件驱动、文件操作事务控制。 可完美内嵌至KASS平台版系列产品,作为其底层文件存储服务平台。">支持局域网及广域网多服务器分散存储文件。 采用文件信息流与数据流分离架构。 支持通过大规模集群提供高并发、高吞吐量文件服务。 内建文件多副本机制及名称同步机制,预防任何单点故障。 支持多种高级功能:文件多? [更多]

Jeff Darcy个人发布的分布式存储测试分析报告为什么只关注Small Synchronous Writes

http://pl.atyp.us/2013-07-why-sync-writes.html 肯定有其他op的性能需要考虑。但是其他op不能得出两个分布式文件系统的不同,只有这个小的同步写可以。 原因: 1,读op的负载测试不行:a,os和或者app级别的缓存把read进行了屏蔽,压力传递不到分布式文件系统级别。在文件系统级别,只关注write op。read cache意义不小,但引来较大

To be the innovator and the *ist 1014

通过CN3口直接控制台达伺服电机A2-M(二)

既然可以通过RS485与伺服驱动器进行通讯,那么就肯定可以控制转速 首先,需要了解下 ‘控制模式及控制命令输入源设定’ 依据以上资料,速度控制模式有两种,S和SZ模式,分别对应模式选择中的02和04,对P1-01的地址0102进行写地址操作即可实现,一开始我使用了S模式,但是这个模式在寸动模式下会自动运转,不符合我控制的要求,后面改用SZ模式,就可以实现零速度。 使用串口工具发送命令:“01 06 01 02 00 04 28 35”即可以实现设置,设置完成后可以手动在伺服驱动器的按键面板上进行确

HKing_evil的博客 6826

AD7920实战:从咪头到ADC的音频信号采集电路设计全解析(附电路图)

本文详细解析了基于AD7920 ADC芯片的音频信号采集电路设计全流程。从驻极体咪头的驱动、AD8542运放的两级增益与偏置设计,到关键的抗混叠滤波器配置,以及ADC接口的驱动缓冲与PCB布局要点,提供了完整的实战指南与电路图,帮助开发者实现高质量音频信号采集。

red88的博客 807

分布式文件系统KFS源码阅读与分析(一):MetaServer元数据组织结构

KFS文件系统的MetaServer元数据管理采用的是B+树方式,下面将结合其源码,对KFS MetaServer中元数据的组织形式及有关实现细节进行分析。 1. 相关源码文件 KFS MetaServer元数据管理的代码所在目录为kfs-[version]/src/cc/meta,其中,相关的源码文件有: (1)meta/base.h:KFS元数据metadata中各节点的基础类,包括的类

笔记本 1292

M2DGR数据集在主流SLAM框架中的实战配置指南:从ORB-SLAM到FAST-LIO的完整流程

本文提供了M2DGR多传感器数据集在主流SLAM框架中的实战配置指南。详细介绍了从ORB-SLAM、VINS-Mono等视觉/视觉惯性框架,到A-LOAM、FAST-LIO等激光/激光惯性框架的完整配置流程、参数调整要点及常见问题解决方案。通过实际测试对比,分析了各算法在M2DGR数据集上的表现,为机器人定位与建图研究提供了宝贵的实战经验。

k9l0m1的博客 481

kfs嵌入式文件系统应用指南(二)

4。如何在你的系统中使用kfs文件系统        要在你的系统中使用kfs文件系统你只需要简单的几步:        第一步,就是按照《kfs嵌入式文件系统应用指南(一)》中的方法建立基于你系统的驱动。        第二步,在你的程序主入口函数中对文件系统进行初始化。你需要提供用于建立文件系统的存储器的起始地址和结束地址,并使用kfs初始化函数进行初始化。        r_fsin

xoooc的专栏 1123

【SeedLab】Packet Sniffing and Spoofing Lab

本节实验要求:借助Scapy库,实现网络流量的捕获与伪造。

cold_windx的博客 4517

轨迹规划——带抛物线过渡的直线插补

带抛物线过渡的直线插补

doudou2weiwei的博客 1986

linux系统测试报告,[Linux-文件系统测试] -- Bonnie++测试

简述:Bonnie++是一个硬盘和文件系统的基准性能测试工具,它通过一系列的简单测试来生成硬盘和文件系统的性能参数。主要对三个方面做基准测试:数据读、写速度,每秒可以完成的磁盘寻道次数和每秒可以完成的文件元数据操作次数。(说明: Bonnie不能支持>2G的文件,因此Russell Coker (russell@coker.com.au) 开发了Bonnie++)Bonnie++的编译与安装...

weixin_29057237的博客 858

【技术解析】华为智算中心:昇腾AI算力与无损网络如何驱动大模型训练

本文深入解析了华为智算中心如何通过昇腾AI算力与超融合以太无损网络的协同,驱动千亿参数大模型的高效训练。昇腾NPU提供专用计算引擎,而基于RoCE的无损网络则通过PFC、ECN等技术确保万卡集群间的高带宽、零丢包通信,实现算力利用率最大化,解决大规模AI训练的核心瓶颈。

weixin_29311017的博客 204

操作系统实验报告(四)文件系统

一、 实验目的 1、 熟悉Linux文件系统的文件和目录结构,掌握Linux文件系统的基本特征; 2、 模拟实现Linux文件系统的简单I/O流操作:备份文件。 二、 实验环境 Ubuntu 20.10、gcc编译器 三、 实验内容 1、 浏览Linux系统根目录下的子目录,熟悉每个目录的文件和功能; 2、 设计程序模拟实现Linux文件系统的简单I/O流操作:备份文件。 四、 实验要求 1、 对文件系统命令和库函数要提前熟悉; 2、 画出备份文件的过程图; 3、 测试数据文件提前准备好; 4、 编写程序.

GHY 6709

1、动作捕捉技术:概述与历史

本博文全面介绍了动作捕捉技术的概念、历史演变、类型分类以及完整的工作流程。从早期的连续摄影技术到现代数字动作捕捉系统,文章深入探讨了光学、磁性和机械动作捕捉系统的优缺点及适用场景,并详细解析了动作捕捉数据的生成原理与数学基础。此外,还涵盖了特殊部位如手部、面部和木偶的动作捕捉方法,并讨论了动作捕捉在动画制作、虚拟现实、医疗康复等领域的广泛应用与发展前景。

apple5的专栏 222

YOLO26引入ECA-Net的改进版变体:1D卷积在2026目标检测的极致压榨

摘要: 2026年发布的YOLO26通过移除DFL模块、支持无NMS推理等革新成为边缘计算新标杆。为进一步提升性能,研究聚焦轻量级通道注意力机制ECA-Net,其核心创新在于用1D卷积替代传统全连接层,仅需5个参数即可实现高效通道交互。数学分析表明,ECA模块在ResNet50上仅增加80个参数,却能带来2%以上的精度提升。这种"极致压榨"的设计理念与YOLO26的轻量化特性高度契合,为在几乎不增加计算开销的前提下提升模型性能提供了可行方案。技术验证显示,该组合在COCO数据集上实现了检测精度与推理效率的双

ZDQ58818的博客 266

分布式系统测试在阿里云的实践

转载自http://www.infoq.com/cn/articles/distributed-systems-test 1. 阿里云的分布式系统 飞天是阿里云独立开发的大规模分布式计算与存储系统,兼有分布式存储和分布式计算的多重功能。基于飞天大规模分布式系统,我们开发了弹性计算,海量邮箱服务,Key-Value存储引擎,结构化数据存储引擎和海量数据处理服务等一系列的上层服务,并且基于

多一份坚持,多一份收获 1341

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

大规模分布式系统性能测试实践

云时代的应用性能测试挑战 系统容量相比传统应用数量级增长微服务化架构,调用关系更加复杂用户增长迅速,资源突发需求量大 ▼▼▼ 传统性能测试工具性能不足,自研技术门槛高瓶颈在各微服务间漂移,测试技术难度大如何摸清资源扩容模型,有限资源下如何验证性能一旦性能问题流入现网,问题定位周期长 华为云性能测试实践方案如何更加系统的开展性能测试活动 1. 被测对象分析(某社交类APP) 从系统架构分析可能...

weixin_33912246的博客 843

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

分布式文件存储:Google File System 浅析

Google File SystemGFS是什么DFS系统分类网络文件系统(NFS)Andrew系统(AFS)KASS系统(KFS)DFS系统具体介绍网络文件系统(NFS)设计目标部分功能分布式文件系统 (KFS)Chunk 服务器(chunk的中文就是“块”)客户端客户端的缓存一致性问题分布式系统负载均衡策略 GFS是什么 GFS是谷歌的分布式文件管理系统,因此,我们首先来了解一下什么是分布式文件管理系统。 DFS 文件系统是计算机存储、管理数据的基本方式,当信息量足够大(单台服务器无法支撑现有业务量时

ZERO的博客 3980

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

分布式文件系统KFS基础知识介绍

Kosmos distributed file system,简称KFS,是一个类GFS的分布式文件系统,被设计用于分布式的结构化存储。下面将对KFS的体系结构进行简单介绍,最后给出一个使用KFS C++ API的示例。 1. KFS体系结构 KFS和GFS的整体结构类似,图中所示为GFS的体系结构图(来自于Sanjay Ghemawat, Howard Gobioff, and Shun-T...

weixin_34124651的博客 620

分布式文件系统测试方法与测试工具

非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点,架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX, SONAS, Filestore, NetApp GX, Panasas, StorNext, B...

云计算? 859

arm 分布式存储性能测试报告

1.参考: 1.ARM分布式架构上的Ceph分布式存储性能测试案例

mixboot 1720

存储性能测试报告(参考模板)

## 1.1 百度Palo对决ClickHouse,谁快? https://mp.weixin.qq.com/s/9sZswZve24xG5EF5Yx32sQ ## 1.2 HBase测试 ## 1.3 链家大数据多维分析引擎实践https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653549008&idx=1&sn=7187395715959ed4714b0cff7f39acad&chksm=813a60.

2480
上一篇: KFS 0.5发布说明
下一篇: is dfsclient caches the data block to local disk before writing?
迷途小码
博客等级 码龄19年 71粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值