xgbjmxn的专栏

高效存储技术研究 1 引言<br />物质、能量和信息是自然科学研究的三个基本对象，处理、传输和存储是信息计算的三大基本任务。随着信息化技术水平的不断提高，数据已经取代计算成为了信息计算的中心，数据将成为企业最终有价值的财富。1998年图灵奖获得者Jim Gray曾断言：现在每18个月新增的存储量等于有史以来存储量之和。根据预测，2020年数据宇宙将达到35.2 ZB（1 ZB = 1百万PB），比2009的0.8ZB增加44倍。在如此强大的实际需求推动下，人们不断追求海量存储容量、高性能、高安

[翻译]在云端Host FastCGI 应用 收藏<br />      原文链接：Hosting FastCGI Applications   <br />      Windows Azure 支持 Internet Information Server (IIS) 7.0 FastCGI模块，<br />以便于开发者运行那些使用解释型语言开发的应用，比如：PHP或本地化代码.<br />     为获取一个运行FastCGI 应用web role宿主，您必须：       .  在se

Percolator 中的分布式事务<br />Percolator 对外提供两个主要的功能, 一个是分布式事务, 另外一个是 observers, 这里简单介绍一下 Percolator 中分布式事务的实现方法. 以下内容都出自对 google 论文 Large-scale Incremental Processing Using Distributed Transactions and Notifications 的学习. 这里介绍的内容只是论文中的一个小部分, 有兴趣的同学请阅读原文<br

<br />淘宝核心系统团队博客    http://rdc.taobao.com/blog/cs/

Google Megastore分布式存储技术全揭秘(2)2011-02-16 09:41 | 22951次阅读 | 【已有22条评论】发表评论来源：优快云 | 作者： | 收藏到我的网摘Megastore支持事务和并发控制。一个事务写操作会首先写入对应Entity Group的日志中，然后才会更新具体数据。BigTable具有一项在相同row/column中存储多个版本带有不同时间戳的数据。正是因为有这个特性，Megastore实现了多版本并发控制(MVCC，

Google Megastore分布式存储技术全揭秘2011-02-16 09:41 | 21878次阅读 | 【已有20条评论】发表评论来源：优快云 | 作者： | 收藏到我的网摘导读：本文根据Google最新Megastore论文翻译而来，原作者为Google团队，团队人员包括：Jason Baker，Chris Bond，James C.Corbett，JJ Furman，Andrey Khorlin，James Larson，Jean-Michel Lé

以独占的方式访问某个文件 收藏<br />有时候，我们需要以独占的方式访问某个文件，因此，需要在打开文件时，对文件上锁，以防其他人或进程也访问该文件。Java本身提供了俩种锁文件的方式：<br />方式一：用RandomAccessFile类操作文件<br />RandomAccessFile的open方法，提供了参数，实现以独占的方式打开文件：<br />    new RandomAccessFile(file, "rws")<br />其中的“rws”参数中，rw代表读写方式

细数运行在微软平台上的NoSQL数据库<br />2010-08-18 09:15 | 9557次阅读 | 【已有8条评论】发表评论<br />来源：51CTO | 收藏到我的网摘<br /> <br />Max Indelicato曾发表过一篇文章《NoSQL on the Microsoft Platform》，文中列举了运行在微软平台上的NoSQL数据库，并分别对这些数据进行了介绍，现将对此文的翻译转载于此，供大家学习：<br />从可查询的分布式解决方案，如Mon

2009年11月17日 在Discuz!NT中进行缓存分层(本地缓存+memcached)           在以前的两篇文章(Discuz!NT 缓存设计简析, Discuz!NT中集成Memcached分布式缓存)中，介绍了Discuz!NT中的缓存设计思路以及如何引入Memcached，当然前者是IIS进程的缓存（本地缓存），后者是分布式内存对象缓存系统。      两者通过Discuz!NT中的memcached.config文件中的ApplyMemCached结点的值

用消息队列和消息应用状态表来消除分布式事务<br />由于数据量的巨大，大部分Web应用都需要部署很多个数据库实例。这样，有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性，经典的方法是使用两阶段提交协议。<br />长期以来，分布式事务提供的优雅的全局ACID保证麻醉了应用开发者的心灵，很多人都不敢越雷池一步，想像没有分布式事务的世界会是怎样。如今就如MySQL和PostgreSQL这类面向低端用户的开源数据库都支持分布式事务了，开发者更是沉醉其中，

NoSQL生态系统大检阅 不同特性大比拼<br />2010-07-27 21:51 | 2240次阅读 | 【已有2条评论】发表评论<br />来源：a db thinker's home博客 | 收藏到我的网摘<br /> <br />Jonathan Ellis曾写过一篇博文《NoSQL Ecosystem》，对多种NoSQL数据库产品从可扩展性、数据模型与查询模型等方面进行了比较， Jametong对本博文进行了翻译，现转载于此，以方便大家学习。<br />空前的

MySQL VS NoSQL 关公战秦琼？<br />2010-08-10 09:15 | 6542次阅读 | 【已有13条评论】发表评论<br />来源：IT168 yueliangdao | 收藏到我的网摘<br /> <br />前段时间国内外对NoSQL的讨论非常热烈，Digg和Reddit使用Cassandra，Facebook经过一些变化后依然对 NoSQL进行测评，NoSQL取代SQL的呼声高涨，因为互联网行业使用MySQL的概率非常高，加之Oracle收购的消

分布式存储系统设计的若干原则 收藏<br />此文于2011-02-22被推荐到优快云首页<br />此文于2011-02-22被推荐到优快云首页<br />此文于2011-02-23被推荐到优快云首页<br />如何被推荐？<br />1、CAP理论<br />2000年Eric Brewer教授提出了著名的CAP理论，即：一个分布式系统不可能满足一致性，可用性和分区容错性这三个需求，最多只能同时满足两个。2002年MIT的Seth Gilbert 和 Nanc

云计算时代的测试挑战 收藏<br />对于云计算，可能不同的人有不同的看法，也有些人认为这只是一个厂商们弄出来的buzz word，是个噱头而已。但是不管怎样，如果你经常关注业界动态的话，你会发现除了那几个众所周知的服务外，还有很多的组织真刀真枪的行动起来了，有很多发布了自己的战略、计划、平台和产品。仅仅是在国内，最近就有很多这样那样的云计算平台，想必大家也听说了一些。最近正好有机会了解了其中的一个，借着一起review test design的机会，了解了一下架构和他

集群并行文件系统Lustre部署 收藏 @font-face { font-family: "宋体";}@font-face { font-family: "@宋体";}p.MsoNormal, li.MsoNormal, div.MsoNormal { margin: 0cm 0cm 0.0001pt; text-align: justify; font-size: 10.5pt; font-family: "Times Ne

Google公开Megastore论文——解决NoSQL、SQL融合难题<br />2011-02-11 00:42 | 20409次阅读 | 【已有24条评论】发表评论<br />来源：优快云编译 | 作者：谭茂 | 收藏到我的网摘<br /> <br />实际上，作为一个建立于Bigtable之上的分布式存储系统，Megastore已经被谷歌使用了数年。Google在2008年的SIGMOD大会上就已经开始讨论它了，但相关技术信息直到最近才被公布，在上个月举行的

Paxos算法之旅（四）zookeeper代码解析Posted by linxuan on 2010-11-10 Leave a comment (3)Go to comments<br />ZooKeeper是近期比较热门的一个类Paxos实现。也是一个逐渐得到广泛应用的开源的分布式锁服务实现。被认为是Chubby的开源版，虽然具体实现有很多差异。ZooKeeper概要的介绍可以看官方文档：http://hadoop.apache.org/zookeeper 这里我们重点来看下它的内部实现。<

构建高性能web之路------mysql读写分离实战 收藏<br />一个完整的mysql读写分离环境包括以下几个部分：应用程序clientdatabase proxydatabase集群<br />在本次实战中，应用程序client基于c3p0连接后端的database proxy。database proxy负责管理client实际访问database的路由策略，采用开源框架amoeba。database集群采用mysql的master-slave的replication方案。整个

存储技术趋势预测与分析 收藏 <br />此文于2010-11-30被推荐到优快云首页<br />如何被推荐？<br />信息计算现已进入以数据为中心的时代，存储行业是目前最热门的领域之一。面对不断出现的存储需求新挑战，我们该如何把握存储的未来发展方向呢？本人根据自己的经验和理解尝试预测和分析一下存储的未来技术趋势，与存储同行分享，不当之处还请大家批评指正。<br />1、存储虚拟化<br />　存储虚拟化是目前以及未来的存储技术热点，它其实并不算是什么全新的概念，RAID、LV

分布式文件系统名字空间实现研究 收藏<br />1、名字空间概述<br />　　名字空间(Namespace)即文件系统文件目录的组织方式，是文件系统的重要组成部分，为用户提供可视化的、可理解的文件系统视图，从而解决或降低人类与计算机之间在数据存储上的语义间隔。目前树状结构的文件系统组织方式与现实世界的组织结构最为相似，被人们所广泛接受。因此绝大多数的文件系统皆以Tree方式来组织文件目录，包括各种磁盘文件系统(EXTx, XFS, JFS, Reiserfs, ZFS, Btr

百度Hadoop分布式系统揭秘：4000节点集群<br />2010-11-02 11:49 | 6143次阅读 | 【已有11条评论】发表评论<br />来源：优快云 | 作者：谭茂 | 收藏到我的网摘<br /> <br />百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点，超过10个的集群，最大的集群规模在1000个节点以上。每个节点由8核CPU以及16G内存以及12TB硬盘组成，每天的数据生成量在3PB以上。规划当中的架构将有超过1万个节点

构建高性能web之路------web服务器长连接 收藏<br />web服务器都提供长连接的方式，所谓长连接就是客户端一次请求完后，不关闭连接，保持一段时间的连接，下次此客户端再次请求时，不用创建新连接，复用所保持的连接即可。从理论上，长连接可以免去大量建立和关闭连接的资源消耗，但同时也有大量连接被占用的代价。因此可以初步判断长连接比短连接能带来更高的TPS，更低的CPU消耗，更少的IO，更高的内存占用，下面通过实战来验证。<br />服务器环境和测试工具可以见工具和环境准备篇<br

Google Megastore分布式存储技术全揭秘(3)<br />2011-02-16 09:41 | 22952次阅读 | 【已有22条评论】发表评论<br />来源：优快云 | 作者： | 收藏到我的网摘<br /> <br />Megastore的副本中除了有日志有Entity数据和索引数据的副本外，还有两种角色，其中一种叫做观察者(Witnesses)，它们只写日志，并且不会让日志生效，也没有数据，但是当副本不足以组成一个quorum的时候，它们就可以加

[IBM dW] NoSQL数据建模<br />2010-07-22 09:14 | 5869次阅读 | 【已有2条评论】发表评论<br />来源：developerWorks 中国 | 收藏到我的网摘<br /> <br />关系数据库已经统治数据存储30 多年了，但是无模式（或NoSQL）数据库的逐渐流行表明变化正在发生。尽管 RDBMS 为在传统的客户端服务器架构中存储数据提供了一个坚实的基础，但它不能轻松地（或便宜地）扩展到多个节点。在高度可伸缩的 Web 应用程

服务器网页缓存的深入分析 <br />Expires、Cache-Control、Last-Modified、ETag是RFC 2616（HTTP/1.1）协议中和网页缓存相关的几个字段。前两个用来控制缓存的失效日期，后两个用来验证网页的有效性。要注意的是， HTTP/1.0有一个功能比较弱的缓存控制机制：Pragma，使用HTTP/1.0的缓存将忽略Expires和Cache-Control头。我们这里以Apache2.0服务器为例，只讨论HTTP/1.1协议。<br />Expir

集群系统实现方案详解<br />一、集群的基本概念<br /><br />　　有一种常见的方法可以大幅提高服务器的安全性，这就是集群。<br /><br />　　Cluster集群技术可如下定义：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。<br /><br />　　大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理

DNS负载均衡与负载均衡器两种方案的选择 <br /> web应用服务器集群系统，是由一群同时运行同一个web应用的服务器组成的集群系统，在外界看来，就像是一个服务器一样。为了均衡集群服务器的负载，达到优化系统性能的目的，集群服务器将众多的访问请求，分散到系统中的不同节点进行处理。从而实现了更高的有效性和稳定性，而这也正是基于Web的企业应用所必须具备的特性。<br /><br />　　高可靠性可以看作为系统的一种冗余设定。对于一个特定的请求，如果所申请的服务器不能进行处理的话，那么其他的服

JBoss集群知识 <br />1.  JBoss集群配置概念<br />　　JBoss集群(Cluster)是一组计算机节点的集合，它们作为一个整体向用户提供一组网络资源。一个理想的集群对用户是透明的。用户由单一入口访问集群的资源，从来不会意识到集群中的节点。在他们看来，集群是一个系统，而非多个计算机系统。集群还应该支持随意增加和减少集群系统的节点，而这同样不会影响到用户的访问。<br />2.　　JBoss集群分类<br />　　习惯上，JBoss集群配置的关键是把集群分为高可用(

分布式文件系统MFS(moosefs)实现存储共享 版权声明：原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://sery.blog.51cto.com/10037/147756<br /><br />由于用户数量的不断攀升,我对访问量大的应用实现了可扩展、高可靠的集群部署（即lvs+keepalived的方式），但仍然有用户反馈访问慢的问题。通过排查个服务器的情况，发现问题的根源在于共享存储服务器NFS。在我这个网络环境里

  使用csync2+inotify实现文件实时同步 <br /> <br />注：要使用inotify模块，系统版本必须是linux-2.6.13及以上。<br />一、关键技术<br />利用csync2+sqlite实现数据的高效实时的增量备份，相关目录及文件信息都存储在sqlite数据库中,<br />大大提升了同步的速率和效率;利用inotify触发式（实时）执行csync同步命令更新文件。<br />二、方案适用<br />图片服务器集群方案: ReiserFS4+csync2+

<br />初探虚拟主机的集群系统 <br />面对现在的ddos和黑客数据的破坏，及服务器自身的故障，集群系统将大幅提高服务器的安全性。我们在入侵虚拟主机的过程中，经常有一些不可思议的事情发生，如，明明将文件写入服务器，可是在web上就是找不到。我们面对的高性能虚拟主机其实并不是一台服务器，而是一个集群。集群中主机的互连并不是象局域网这么简单的，他们通过集群技术Cluster和集群软件实现数据的同步，内存的同步等等。1、 集群的基本概念　　Cluster集群技术可如下定义：一组相互独立

mina和memcached <br /> 基于MINA框架快速开发网络应用程序<br />推荐圈子: 大网络 <br />更多相关推荐/** <br />* 作者：张荣华 <br />* 日期：2008-07-21 <br />**/ <br /><br />看看mina和memcached的联姻 <br /><br />先来解释一下这两个东东的身世 <br /><br />Mina，是什么？ <br />Minan是一个network 应用框架，她能很方

[zt]squid的命中率研究 [zt]squid的命中率研究察看命中率的shell<br />cat access.log|gawk '{print $4}'|sort|uniq -c|sort -nr<br /><br />重点观察下面三个内容<br />TCP_MEM_HIT<br />TCP_IMS_HIT<br />TCP_REFRESH_HIT<br /><br />1198559749.083 0 60.4.218.18 TCP_REFRESH_HIT

java缓存处理（二） <br />缓存的作用在第一论http://hi.baidu.com/%CB%BC%C3%F4%D3%EA/blog/item/908d0cdecbc8a71b495403cc.html中已有部分阐述,下面ahuaxuan和大家一起来学习一下缓存得另外一个重要的规则,近和快. <br /><br />在我们打开浏览器,决定浏览某个网页之前(指人眼看到屏幕上的内容之前),一般来说浏览器有几个事情要做,首先根据url请求服务器端的html数据------,

大型高并发高负载web应用系统架构-缓存架构策略<br />目前在网站的架构构成中普遍使用到缓存来提供WEB应用的性能，由于网站规模的不同，分别存在如下几种类型的缓存架构。<br />(1)单机缓存<br />(2)简单分布式缓存<br />(3)使用复制方式的缓存集群<br />(4)使用散列方式的缓存集群<br />(5)高性能高、可靠的缓存集群<br />下面对于上述几种缓存策略的实际应用的适用情况以及优缺点进行详细分析，当然并没有一个缓存的教条存在，有的只是参考案例，对于具体的应用来讲要具

Apache + MOD_JK + TOMCAT实现集群和负载均衡配置指南 <br />对于Web应用的集群学习我是从Tomcat5.5开始的，下面是我的实际操作过程和一些体会。<br />第一部分 环境介绍<br />负载均衡<br />×××××××××××××××××<br />   操作系统：windows xp <br />   IP地址   ：192.168.1.200<br />   Apache：apache_2.2.13-win32-x86-openssl-0.9.8k.ms

Paxos算法之旅（二）优化与演变Posted by linxuan on 2010-12-07 Leave a comment (1)Go to comments<br />《The Part-Time Parliament》的中文翻译[1998][The Part-Time Parliament]_cn；<br />百度文库地址：http://wenku.baidu.com/view/87276e1dfad6195f312ba6d7.html<br />待续。。。

【分布式系统工程实现】GFS&Bigtable设计的优势<br />目前，知名度比较高的通用存储系统包括：Google GFS&Bigtable，Amazon Dynamo，Microsoft Azure存储系统及Yahoo PNUTS。其中，GFS&Bigtable，Azure存储系统及Yahoo PNUTS都有总控节点，Amazon Dynamo采用去中心化的P2P设计。<br />Amazon Dynamo看起来很优美，比如Dynamo论文中提到的技术比较酷，Dynamo没有中心

构建高性能web之路------工具和环境准备篇 收藏<br />一.web服务器<br />1）apache<br />apache分为很多模式，大家最熟悉有prefork和worker两种，在linux上安装apache可见文档<br />值得注意的是prefork和worker的选择是在编译期，在make之前就需要选定安装的模式，如：<br />./configure --with-mpm=prefork<br />./configure --with-mpm=worker<br />二.

tomcat集群和负载均衡 <br />集群背景介绍<br /><br />1.1 术语定义<br />服务软体是b/s或c/s结构的s部分，是为b或c提供服务的服务性软件系统。 <br />服务硬体指提供计算服务的硬件、比如pc机、pc服务器。 <br />服务实体通指服务软体和服务硬体。 <br />客户端指接受服务实体服务的软件或硬件。 <br />1.2 两大关键特性<br />集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象