架构设计
文章平均质量分 54
sun33170161
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
系统集成-高可用连接模式
一般而言,为了保证服务器的高可用性,会采用集群的方式来处理客户端的请求。那么在集群中某台服务器不可用时,客户端通过什么方式重新连接到其他的服务器呢? 下面我就将分享几种常见的模式。 1. 配置多IP模式 描述: 客户端配置所有的服务器IP,在一个连接不可用时,尝试其他服务器。 应用: 适合于服务器IP固定且对负载均衡要求不高的场景。在具体设计上,为了保证尽可能均衡负载,客户端一般会采用随原创 2013-08-18 16:00:48 · 1156 阅读 · 0 评论 -
源码研读-mina多线程模型
mina是目前很流行的一个网络应用框架,用以帮助用户构建高性能和高伸缩性的网络应用。称其为网络应用框架,主要是其极强的扩展性,支持包括http,ssh,ftp等在内的多种应用层协议。而它本身封装了底层的TCP, UDP等通信协议,使用也非常方便。本文的重点是分析源码,了解它的多线程模型。源码版本为apache-mina-2.0.7。 为了有助于理解,先简单介绍一下mina的整体架构。如下图所示,原创 2013-08-11 10:15:42 · 1764 阅读 · 0 评论 -
分布式系统介绍-PNUTS
PNUTS是Yahoo!的分布式数据库系统,支持地域上分布的大规模并发操作。它根据主键的范围区间或者其哈希值的范围区间将表拆分为表单元(Tablet),多个表单元存储在一个服务器上。一个表单元控制器根据服务器的负载情况,进行表单元的迁移和拆分。每条记录的数据都没有固定的模式(采用JSON格式的文本) 组件 区域(Region):一个区域包含全部表的数据和相关组件。表单元控制器(原创 2013-11-01 01:14:26 · 3090 阅读 · 0 评论 -
分布式网页抓取
为了提高网络爬虫的性能,一般会采用分布式的抓取方式,本文主要就其中的网页查重问题进行简单的讨论。 第一种:主备集中式控制的方式 由一个主控节点控制网页的抓取,主控节点负责任务的分派,将各个slave机器上抓取结果网页内的链接进行汇总,查重,再进一步分派新的任务。主控节点上网页的查重可能是比较复杂的任务。 第二种:多节点协作的方式 将所有的网页地址进行hash,每个节点负责不同的hash范围原创 2014-01-14 11:45:25 · 1319 阅读 · 0 评论
分享