
存储基础
bourne1209
压力会成为一种美德。
展开
-
网络存储的3种形式及各自特点
有3种表现形式,DAS/NAS/SAN1)DAS将存储设备通过SCSI线缆或FC通道直接连接到服务器上。2)NAS一种文件共享服务。拥有自己的文件系统,通过NFS或CIFS对外提供文件访问服务。NAS,包括存储器件和专用服务器,专用服务器上装有专门的操作系统,通常是简化的unix/linux操作系统,或者是一个特殊的win2000内核。它为文件系统管理和访问做了原创 2012-06-10 15:56:48 · 3888 阅读 · 0 评论 -
FLASH产品技术分析及策略建议
一、全局图主要有以下4种应用场景:1. PCI-E闪存2. 服务器侧Cache3. 全SSD阵列4. 混合存储 二、知名厂家分析其中,1) 2) 3) 4)分别对应上述的4种应用场景。 1. EMC 全面布局,霸主风范1)VFCache1.0:读缓存(单机)+DAS(split-card模式);镁光或LSI PCI-E硬件;支持WINDOWS原创 2012-11-07 00:23:22 · 1188 阅读 · 0 评论 -
主机与阵列交互(SCSI)
主机与阵列交互过程主要有:扫盘过程、读写过程和任务管理。 详述如下:一、扫盘过程相关的SCSI命令序列为:Report Luns(下发两次) --》Inquiry --》 Read Capicity --》Test Unit Ready --》Windows下,建立设备树1. 启动器要求目标器上报LUN的个数和ID,目标器回复LUN的列表和状态;2. 查询类命令,包含多个子原创 2012-11-06 23:57:05 · 1117 阅读 · 0 评论 -
分布式存储系统sheepdog
Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备。其架构如下: 下面,我们将从架构、模块等几个方面来介绍下: 一、架构图如上图:采用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展;新增节点通过简单配置可自动加入(IP:PORT),数据自动实现负载均衡;节点故障时,数据可自动恢复;直接支持QE原创 2012-11-06 20:57:47 · 17478 阅读 · 1 评论 -
对存储的理解
从毕业后进入公司从事云计算行业,到涉足云存储开发,慢慢揭开了我对存储学习和认识、深化的过程。接触的越多,学习越深入,越觉得欠缺,已经不仅仅是书本上的专业知识,更包含了对行业的认识、对系统架构的了解的匮乏。之前也不断有写一些存储相关的片断,总是缺少深度和系统,也就慢慢中断了。从今天开始,我还是准备把我对存储系统学习的理解记录起来,慢慢整理。希望,在不久的将来,我能成为一名真正优秀的专业的存储开发工程原创 2012-11-06 23:33:22 · 1594 阅读 · 0 评论 -
XXX分布式存储系统
这里,介绍一个底层存储引擎。它是一种基于DHT的key-value存储引擎,可实现海量大规模扩展,通过多份副本来实现数据高可靠性和高可用性。 在整个系统中的位置如下,---------------------------------------------------------------------------------------------------------------原创 2012-11-07 00:40:01 · 886 阅读 · 0 评论 -
云存储概要介绍
云存储云存储系统,通过集群、分布式文件系统等功能联合起来协同工作,将大量分散的存储设备聚焦成一个大的资源池,并通过一定的应用软件或应用接口(浏览器或轻量级终端),向用户提供一定类型的存储和访问服务。 基本思路:对数据切片,分散到不同节点上进行存储。 技术流派:1.主从架构 Google GFS/BigTable存在master节点,data在多data node上分原创 2012-06-10 16:15:16 · 1076 阅读 · 0 评论 -
虚拟化总论
一、虚拟化技术介绍虚拟化技术是对物理资源进行抽象的过程,包括将多个物理资源抽象为一个资源池,或者将一个物理资源抽象成多个虚拟资源。 谈到虚拟化,虚拟机是避免不了的。这里,我们就来了解下虚拟机的概念。对虚拟机来说,虚拟化前:硬件和OS完全独立;而虚拟化后,硬件和OS紧耦合,将硬件虚拟化成一个资源池,虚拟机从资源池中分配资源。从这里可以看出,虚拟机具有这样几个特性:1. 分区原创 2012-11-05 01:09:09 · 1467 阅读 · 0 评论 -
LVM2的理解
LVM2,是LINUX的卷管理工具。它把若干磁盘组成存储池,然后从存储池中创建逻辑卷,向用户提供逻辑块设备。可以说,它代替内核成为了磁盘的管理者,维护物理磁盘和逻辑块设备之间的映射关系,屏蔽了不同物理的差异,更易于做磁盘管理。 基本原理:基于linux 2.6内核后引入的Device Mapper机制实现。但它没有使用Device Mapper在用户态库提供的库,而是在用户态实原创 2012-11-05 00:34:52 · 896 阅读 · 0 评论 -
epoll+eventfd+libaio实现高效异步IO
转自:http://rdc.taobao.com/blog/cs/?p=1583原创 2012-11-05 00:21:41 · 2531 阅读 · 1 评论 -
某XXFS分布式文件系统设计概述
一、为应对海量数据,系统架构发生变迁 1. 传统系统架构:Server + SAN 主导厂商:EMC/NetAPP/Oracle/IBM 特点:使用SAN存储(FC),价格昂贵,但速度快,响应时间10ms 应用接口:提供通用POSIX/SQL接口 2. 当前系统架构:IP + Cluster 主导厂商:Go原创 2012-11-05 00:14:52 · 994 阅读 · 0 评论 -
数据重现网址
https://skydrive.live.com/#cid=AA5D4A5D8E52802C&id=AA5D4A5D8E52802C%21408原创 2012-06-17 14:32:12 · 521 阅读 · 0 评论 -
iSCSI Enterprise Target的架构分析
iSCSI Enterprise Target,简称IET. 是开源的iSCSI Target软件,西方在源码阅读基础上获得,可由http://iscsitarget.sourceforge.net/获取。IET,由用户层模块和内核层模块共同组成,它们之间通过NETLINK机制进行通信。一、用户模块(ietd daemon)它是IET的管理工具,主要功能可描述为:1)用来配原创 2012-06-17 11:00:19 · 2920 阅读 · 1 评论 -
pdflush刷盘时机
一般,写缓冲占内存10%时,pdflush开始刷盘,运行间隔5s,30s的数据算旧。原创 2012-11-06 23:45:46 · 1147 阅读 · 1 评论