Architecture/Distributed/High Performance
关注
分享
扫一扫
文章平均质量分 89
黑夜路人（heiyeluren）
黑夜路人（heiyeluren），一个喜欢研究互联网技术的开源技术爱好者，
既然决定远行,便只顾风雨兼程。
展开
-
【原创】黑夜路人：如何构建更健壮的在线系统
在日渐变化的业务需求中，在对高性能、可扩展、高可靠的架构要求下面，如何通过架构设计和代码编写实现健壮的在线系统原创 2020-11-14 23:05:44 · 4016 阅读 · 4 评论 -
[转]基于LVS的互联网应用
基于LVS的互联网应用作者:田逸（sery@163.com） from:http://server.it168.com/server/2007-12-11/200712110855723.shtml在前面的文章里，我做了一个“可扩展、高可用服务网络设计方案”，现在我们来说明怎样实现它的技术细节。 网络环境 1、 硬件：服务器、网络附属存储（NAS）和交换机。3个服转载 2008-02-04 21:51:00 · 2670 阅读 · 0 评论 -
[转]Nginx 0.5.33 + PHP 5.2.5（FastCGI）搭建胜过Apache 10倍的Web服务器（第2版）
来源：http://blog.s135.com/read.php/314.htm作者：张宴 Nginx 0.5.33 + PHP 5.2.5（FastCGI）搭建胜过Apache 10倍的Web服务器（第2版）[原创] [文章作者：张宴 本文版本：v2.0 最后修改：2007.12.3 转载请注明出处：http://blog.s135.com] 前言：本文为我2007年9月写过的转载 2008-02-04 21:06:00 · 3354 阅读 · 0 评论 -
[转]memcache_engine + memcachedb = 高性能分布式内存数据库
memcache_engine + memcachedb = 高性能分布式内存数据库来源：http://robbin.javaeye.com/blog/158275作者：robbinmemcachedb是一个由新浪网的开发人员开放出来的开源项目，给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制和异步主辅复制机制，让memcached具备了事务恢复能转载 2008-03-18 12:24:00 · 3381 阅读 · 0 评论 -
[转]使用 PHP 和 Apache Solr 实现企业搜索
来源：http://www.ibm.com/developerworks/cn/opensource/os-php-apachesolr/index.html使用 PHP 和 Apache Solr 实现企业搜索向 Web 应用程序中添加高级搜索引擎 级别： 中级Martin Streicher, 主编, McClatchy Int转载 2008-04-04 13:32:00 · 3463 阅读 · 0 评论 -
[原创] 同事开发的高效的开源分布式文件系统： FastDFS
篇首语：同事 happy_fish 最近开发了一个很强大，很快速的开源分布式文件系统 - FastDFS，使用纯C开发，执行效率非常高，能够解决大并发和分布式存储的问题，简洁高效，适合很多不想使用 Hadoop 或 MogileFS 的兄弟们值得尝试的一个分布式文件系统 FastDFS一个高效的分布式文件系统作者：happy_fish 时间：2008-07-15原创 2008-07-16 09:18:00 · 5394 阅读 · 13 评论 -
【分享】开源消息中间件
很多时候，会给自己内部的应用或者第三方应用提供接口（API）或者是RPC（远程过程调用），普遍通用的都是使用HTTP的方式，比如常说的Web Service的各种实现，SOAP、XML-RPC 等等，但是普遍性能不太好，所以相应的消息通信中间件就需要了。商业收费的也很多，像像 MessageQ、MQ 等等，下面简单的介绍一些开源的消息中间件，大家可以尝试一下： Spread: ht原创 2008-07-29 18:10:00 · 4587 阅读 · 0 评论 -
[转] Mosix：强大的集群Linux方案
Mosix：强大的集群Linux方案 Linux界现在好像处在疯狂地热衷于集群概念之中。几乎就在几个月之前，唯一的解决方案还只能是自己编写集群软件以达到较高的实用性。当然在科学集群方面，还可以使用Beowulf或者传送消息的集群库（例如 PVM）。但除了早先的这些解决方案，Linux在专有和商业集群的方面上是大大落后的。 但现在的发展看起来令人欣慰了很多。SGI的Failsaf转载 2008-05-15 21:00:00 · 2971 阅读 · 0 评论 -
[原创] 简单测试MySQL 5.1 表分区功能
想测试下表分区功能跟自主的分布式的性能差异，进行了简单的测试，前后花费了半个小时，可能测试数据不太准确。【测试环境】操作系统：Windows XP SP2MySQL： 5.1.19-beta-community-nt-debug【测试过程】查看MySQL版本：mysql> select version();+--------------------------------+原创 2008-05-19 22:42:00 · 6365 阅读 · 4 评论 -
[转]开源分布式文件系统：Gluster File System
随着网络浪潮的风起云涌，个人感觉数年前某公司放言，”世界只需几台计算机“，真的离我们越来越近了，计算和存储都将向服务端转移，hoho，大型机的时代又来临了么？网格计算中，计算网格提供计算能力，随便一个手持设备，一个什么终端，都可以付费的使用大型机的计算能力，而且是随时随地，真的很美好。而存储网格呢，一个终端什么都不需要存，只需是online的，那么你所需的操作系统，应用程序，都唾手可得，转载 2008-08-05 11:52:00 · 4016 阅读 · 0 评论 -
【分享】开源分布式文件系统&文件系统
GFS(Google File System): http://www.codechina.org/doc/google/gfs-paper/MogileFS: http://www.danga.com/mogilefsHadoop/HDFS: http://hadoop.apache.org/coreKFS(Kosmos Distributed File System): http://kosm原创 2008-08-07 16:30:00 · 5131 阅读 · 4 评论 -
[转] 基于Linux的集群系统的文件系统介绍
本篇将为您讲述集群系统文件系统，主要包括Coda,Global,xFS,MOSIX文件系统。 集群计算的发展需要发展并升级文件系统，此文件系统不仅能够对多个文件提供并行的访问，而且能在对同一文件进行访问的进程间提供cache一致性。大多数传统的网络文件系统如NFS、AFS、Coda对于并行处理而言是远远不够的，因为它们都依赖中心文件服务器。但是，随着越来越多的客户的加入，服务器的cpu很快转载 2008-08-05 11:51:00 · 2116 阅读 · 2 评论 -
[同事原创] 开源搜索引擎Hyper Estraier性能小测&缺点总结
开源搜索引擎Hyper Estraier性能小测&缺点总结 作者：chin Hyper Estraier是一个由日本人用C写的搜索引擎，底层存储采用了作者另外一个 开源项目QDBM。 在功能特性上，Hyper Estraier是比较接近iSearch (alibaba内部平台搜索产品) 的，支持Attribue Search，N- gram，P2P（不是下片的P2P啊原创 2008-08-20 15:09:00 · 4979 阅读 · 3 评论 -
[转]Yupoo! 的网站技术架构
Yupoo! 的网站技术架构作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/arch/yupoo_arch.html 又有机会爆料国内 Web 2.0 网站的架构了。这次是 Yupoo! 。非正式的采访了一下 Yupoo!(又拍网) 的创建人之一的 阿华（沈志华）同学，了转载 2008-06-02 21:51:00 · 4165 阅读 · 0 评论 -
[转]闲谈 Web 图片服务器
闲谈 Web 图片服务器作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/web/web_image_server.html 现在很多中小网站(尤其是 Web 2.0 站点) 都允许用户上传图片，如果前期没有很好的规划，那么随着图片文件的增多，无论是管理还是性能上都带来很多转载 2008-06-02 16:21:00 · 4363 阅读 · 1 评论 -
[转] memcache分析调试
[ 2007/03/13 22:04 | by wirlfly ] 1.关于本文档 本文档所有的分析都是在1.2版本之上,偶尔会提到比较1.1版本.其他版本没有阅读. 一个星期时间的工作,不可能对memcache有很深刻的分析.文档本身的目的在于为以后的研究准备一个总结资料.刚接触memcache时,对其设计分布式的思路感到十分欣喜,因为在中间层以极小的代价实现转载 2008-08-25 20:02:00 · 4231 阅读 · 0 评论 -
[转] 网站架构文章和MySQL在国际知名网站中的使用量
MySQL数据库服务器国际知名网站中的使用数量2008年4月18日，在Alexa安排的一次“Scaling MySQL -- Up or Out?” 的小组辩论中，MySQL、Sun、Flickr、Fotolog、Wkipedia、Facebook、YouTube等国际知名网站的DBA们，对其 网站MySQL数据库服务器、Web服务器、缓存服务器的数量，MySQL版本，编程语言类型，操作系统转载 2008-09-01 13:31:00 · 3900 阅读 · 1 评论 -
[转] 分布式计算开源框架Hadoop入门实践
Author :岑文初Email: wenchu.cenwc@alibaba-inc.commsn: cenwenchu_79@hotmail.comblog: http://blog.youkuaiyun.com/cenwenchu79/ 引... 2What is Hadoop. 2Why is hadoop. 6How to Use Hadoop & Tips 7转载 2008-08-31 01:36:00 · 2549 阅读 · 0 评论 -
libev：libevent的挑战者
libev 是高性能事件循环/事件模型的网络库，并且包含大量新特性。它是继lievent和Event perl module之后的一套全新网络库。它追求的目标：速度更快，bug更少，特性更多，体积更小。 它和libevent很像，按照作者的介绍，可以作为libevent的替代者，能够提供更高的性能。并不需要复杂的配置。 希望它的出现，能为高性能网络应用注入新鲜血液。 它的出现真是应了那句：很转载 2008-09-02 10:53:00 · 14685 阅读 · 0 评论 -
[转] KFS,一个克隆GFS的文件系统
KFS（KOSMOS DISTRIBUTED FILE SYSTEM），一个类似GFS、Hadoop中HDFS 的一个开源的分布式文件系统。PS: google的三大基石 gfs,bigtable,map-reduce 相对应的开源产品 gfs:kfs(据传google创史人的同窗所创)，hdfs(hadoop的子项目) bigtable:hbase(hadoop的子项目)，Hypertabl转载 2008-06-27 00:08:00 · 4365 阅读 · 0 评论 -
[转] 初尝利用HAProxy实现负载均衡
一,HAProxy 介绍 反向代理服务器,支持双机热备支持虚拟主机，但其配置简单，拥有非常不错的服务器健康检查功能，当其代理的后端服务器出现故障, HAProxy会自动将该服务器摘除，故障恢复后再自动将该服务器加入。新的1.3引入了frontend,backend,frontend根据任意 HTTP请求头内容做规则匹配，然后把请求定向到相关的backend.二，利用HA转载 2008-07-08 22:58:00 · 3828 阅读 · 0 评论 -
[转] 疯狂代码：大型网站架构系列（未完待续）
作者：疯狂代码 来源：http://www.crazycoder.cn 大型网站架构系列之一 不得不考虑的问题 前言：这两天机器坏了，正在送修中，写个系列的大型网站架构的文章，希望对有志在互联网做出一番事业的站长朋友们一些帮助。 注意：这里的大型网站架构只包括高互动性高交互性的数据型大型网站，基于大家众所周知的原因，我们就不谈新闻类和一些依靠HTML静转载 2008-10-01 11:32:00 · 13567 阅读 · 3 评论 -
[转] 大型网站架构演变和知识体系
之前也有一些介绍大型网站架构演变的文章，例如LiveJournal的、ebay的，都是非常值得参考的，不过感觉他们讲的更多的是每次演变的结果，而没有很详细的讲为什么需要做这样的演变，再加上近来感觉有不少同学都很难明白为什么一个网站需要那么复杂的技术，于是有了写这篇文章的想法，在这篇文章中 将阐述一个普通的网站发展成大型网站过程中的一种较为典型的架构演变历程和所需掌握的知识体系，希望能给想从事转载 2008-10-14 10:18:00 · 4554 阅读 · 3 评论 -
[转]PostgreSQL数据库同步Slony-I的安装和配置
作者：icyriver来源：http://icyriver.net/?p=177 随着Mysql被Sun收购，不少web开发者和架构师开始关注PostgreSQL。的确，PostgreSQL和Slony-I、PL/Proxy、Pgbouncer已经可以为我们提供一套比较完整的企业级数据库存储解决方案，其web架构如下图所示：其中，PostgreSQL和PL/Proxy的转载 2008-11-04 18:31:00 · 4796 阅读 · 0 评论 -
[转]PostgreSQL数据库连接池Pgbouncer的搭建
作者：何伟平来源：http://www.pgsqldb.org/mwiki/index.php/Pgbouncer%E6%90%AD%E5%BB%BA%E6%95%B0%E6%8D%AE%E5%BA%93%E8%BF%9E%E6%8E%A5%E6%B1%A0 最近有些项目我们是采用PostgreSQL进行后端数据库，由于要对客户端的连接使用类型和连接数进行控制，因转载 2008-11-04 18:38:00 · 7477 阅读 · 0 评论 -
[转]PostgreSQL 数据库集群和PL/Proxy配置安装指南
作者：icyriver 来源：http://icyriver.net/?p=176 PL/Proxy和PostgreSQL集群的结构关系可以用下图清楚地表示，对PL/Proxy和PostgreSQL集群还不太了解的朋友可以看Skype Plans for PostgreSQL to Scale to 1 Billion Users这篇文章。以下操作是在三台不同机器上执行转载 2008-11-04 18:24:00 · 3935 阅读 · 0 评论 -
[转]Erlang，不能错过的盛宴
Erlang不能错过的盛宴 （快步进入 Erlang的世界） 作者：成立涛 (litaocheng@gmail.com ) 作为程序员，我们曾经闻听很多“业界动态”，“技术革新”，曾经接触很多“高手箴言”，“权威推荐”。这些正确与否，都已成过去！ 现在，让我们迎接 Erlang盛宴！ 一、经历 2007年 11月在 koders.com搜索代码时，发现 *.erl格式的源文转载 2008-11-19 19:55:00 · 5105 阅读 · 2 评论 -
[转] Web架构设计经验分享
作者：朱燚来源：http://www.cnblogs.com/yizhu2000/archive/2007/12/04/982142.html 本人作为一位web工程师，着眼最多之处莫过于 性能与架构，本次幸得参与sd2.0大会，得以与同行广泛交流,于此二方面，有些心得，不敢独享，与众博友分享，本文是这次参会与众同撩交流的心得，有兴趣者可以查看视频 架构设计的几个心得： 一，转载 2008-11-22 00:07:00 · 6281 阅读 · 4 评论 -
[转]MySQL索引分析和优化
索引用来快速地寻找那些具有特定值的记录，所有MySQL索引都以B-树的形式保存。如果没有索引，执行查询时MySQL必须从第一个记录开始扫描整个表的所有记录，直至找到符合要求的记录。表里面的记录数量越多，这个操作的代价就越高。如果作为搜索条件的列上已经创建了索引，MySQL无需扫描任何记录即可迅速得到目标记录所在的位置。如果表有1000个记录，通过索引查找记录至少要比顺序扫描记录快100倍。转载 2008-12-04 17:01:00 · 6455 阅读 · 0 评论 -
[原创] Memcached 原理和使用详解(PPT/PDF)
Memcached 原理和使用详解作者：heiyeluren(黑夜路人)时间：2009-01博客：http://blog.youkuaiyun.com/heiyeshuwu Overview 什么是Memcached？Memcached是国外社区网站 LiveJournal 的开发团队开发的高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动原创 2009-03-02 19:00:00 · 14896 阅读 · 6 评论 -
[转]大量小文件的实时同步方案
作者：davies 来源：http://blog.daviesliu.net/2008/04/24/sync/ 传统的文件同步方案有rsync(单向) 和 unison(双向)等，它们需要扫描所有文件后进行比对，差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将非常耗时。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。之前看了Amazon的D转载 2009-04-13 14:52:00 · 3807 阅读 · 1 评论 -
[转]使用Mysql来搭建可扩展的SNS网站（浅谈）
作者：丁原 来源：http://rdc.taobao.com/blog/dba/html/255_mysql_sns_extend.html 近几年WEB2.0的火爆，带动了Mysql的使用热潮，不管是小企业还是大网站，都有意无意的开始使用Mysql来搭建新数据平台，传统网站随着业访问量，数据量的急剧膨胀，集中式的数据库也越来越成为瓶颈，很难做进一步的扩展，做读写分离，而这些都是Mysql的优转载 2009-04-09 23:33:00 · 3060 阅读 · 0 评论 -
[转]图解用WAS对Web服务器进行压力测试
你的Web服务器能够支持多少个并发用户的访问呢？你遇到过服务器遭受过DDOS的攻击而瘫痪吗？在这里给大家介绍微软网站测试人员开发的著名网站压力测试软件，Microsoft的Web Application Stress Tool（WAS，Web应用负载测试工具），而且还是免费的哦。其下载地址：http://download.microsoft.com/转载 2009-04-19 20:45:00 · 4898 阅读 · 0 评论 -
[转]Facebook 如何管理150亿张照片
Facebook 的照片分享很受欢迎，迄今，Facebook 用户已经上传了150亿张照片，加上缩略图，总容量超过1.5PB，而每周新增的照片为2亿2000万张，约25TB，高峰期，Facebook 每秒处理55万张照片，这些数字让如何管理这些数据成为一个巨大的挑战。本文由 Facebook 工程师撰写，讲述了他们是如何管理这些照片的。旧的 NFS 照片架构老的照片系统架构分以下几个层：# 上转载 2009-05-01 14:45:00 · 3994 阅读 · 1 评论 -
[分享]Gearman - 分布式远程过程处理框架
【介绍】Gearman 是 Brad Fitzpatrick 的一个作品，用 Perl 写的任务调度程序，提供一个服务器端和多种语言的客户端接口，包括 C/Perl/Python/Ruby 等，在 client library 本身就支持一定程度的高可靠度。 Gearman系统用来把工作委派给其他机器，分布式的调用更适合做某项工作的机器，并发的做某项工作，在多个调用间做负载均衡，或用来转载 2009-05-12 22:30:00 · 6028 阅读 · 3 评论 -
【原创】MySQL介绍和性能优化 (PPT/PDF)
MySQL介绍和性能优化作者：heiyeluren(黑夜路人)时间：2009-07-28博客：http://blog.youkuaiyun.com/heiyeshuwu Overview 什么是MySQL？ MySQL是一个小型关系型数据库管理系统，开发者为瑞典MySQL AB公司。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开原创 2009-07-28 15:15:00 · 6062 阅读 · 8 评论 -
[转]小规模低性能低流量网站设计原则
作者: Fenng 网址: http://www.dbanotes.net/arch/small_site_arch.html 到处都是什么大规模啊，高流量啊，高性能之类的网站架构设计，这类文章一是满足人们好奇心，但看过之后也就看过了，实际收益可能并不大；另外一个副作用是容易让人心潮澎湃，没学走先学跑，在很多条件仍不具备的情况下，过度设计、过度扩展(高德纳大爷也说过，"过早优化是万恶之转载 2009-06-02 02:01:00 · 2680 阅读 · 1 评论 -
[转]对 Web 应用程序进行性能调优
作者：Sean A. Walberg, 高级网络工程师, P.Eng来源：http://www.ibm.com/developerworks/cn/aix/library/au-perf_tuning/index.html 动态的 Web 应用程序能够存储大量信息，让用户能够通过熟悉的界面立即访问这些信息。但是，随着应用程序越来越受欢迎，可能会发现对请求的响应速度没有以前那么快了。 开转载 2009-07-07 10:58:00 · 3110 阅读 · 0 评论 -
[转]探索 CouchDB
Joe Lennon, 软件开发人员, Core International2009 年 4 月 27 日 什么是 CouchDB？CouchDB 是一个开源的面向文档的数据库管理系统，可以通过 RESTful JavaScript Object Notation (JSON) API 访问。术语 “Couch” 是 “Cluster Of Unreliable Com转载 2009-07-11 16:49:00 · 3235 阅读 · 0 评论 -
[转]mysql性能的检查和调优方法
来源：http://www.sudone.com/linux/mysql_debug.html作者：Ayou 我一直是使用mysql这个数据库软件，它工作比较稳定，效率也很高。在遇到严重性能问题时，一般都有这么几种可能：1、索引没有建好；2、sql写法过于复杂；3、配置错误；4、机器实在负荷不了；1、索引没有建好如果看到mysql消耗的cpu很大，可以用mysql的client转载 2009-10-01 15:36:00 · 2826 阅读 · 1 评论