架构研究
关注
分享
扫一扫
文章平均质量分 53
SiC 软件
SiC B2B2C Shop 开源商城 作者
展开
-
Nginx + Lua
Nginx + Lua--------------------------------------------------------------------------------------------linux中Nginx与Lua执行顺序详解http://www.111cn.net/sys/linux/64574.htm nginx_lua(1) - nginx配置变量...原创 2014-12-18 21:24:23 · 187 阅读 · 0 评论 -
MySQL在大型网站的应用架构演变
可扩展性 架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下， 常用的扩展手段有以下两种：Scale-up : 纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力Scale-out : 横向扩展, 通过加节点（机器）来实现伸缩，提升服务能力对于互联网的高并发应用来说，无疑Scale out才是出路，通...原创 2014-06-24 10:53:08 · 116 阅读 · 0 评论 -
日志分析方法概述
日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。在Web日志中，每条日志通常...原创 2014-06-21 19:25:27 · 146 阅读 · 0 评论 -
分布式日志收集系统Apache Flume的设计介绍
概述Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scribe，Apache Chuwka，Apache Kafka(也是LinkedIn的)。Flume是后起之秀，本文尝试简要分析Flume数据流通过程中提供的组件、可靠性保证来介绍Flume的主要设计，不涉...原创 2014-06-21 00:20:48 · 163 阅读 · 0 评论 -
JVM日志和参数的理解
转自：http://hot66hot.iteye.com/blog/2075819写这篇wiki的目的:最近在调整Hbase的JVM,翻了些文档和wiki,想写点东西,给自己和想了解jvm日志和参数的同 学提供些帮助. 一:理解GC日志格式,读GC日志的方法1:开启日志-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateSt...原创 2014-06-20 23:12:01 · 157 阅读 · 0 评论 -
Avro简介
一、引言1、 简介Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Avro 可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用...原创 2014-06-20 22:59:57 · 386 阅读 · 0 评论 -
大数据时代的 9 大Key-Value存储数据库
在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了 TB 量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。 一个解决方案是使用键值（Key-Value）存储数据库，这是一种 NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV 存储非常适合不涉及过多数据关系业务关系的...原创 2014-06-20 22:57:44 · 535 阅读 · 0 评论 -
关于MongoDB你需要知道的几件事
Henrique Lobo Weissmann是一位来自于巴西的软件开发者，他是itexto公司的联合创始人，这是一家咨询公司。近日，Henrique在博客上撰文谈到了关于MongoDB的一些内容，其中有些观点值得我们，特别是正在和打算使用MongoDB的开发者关注。到目前为止，MongoDB在巴西是最为流行的NoSQL数据库（至少根据关于MongoDB的博客数量以及文章所判断）。Mongo...原创 2014-01-22 11:51:19 · 99 阅读 · 0 评论 -
初探单点登录 SSO
单点登录单点登录（Single sign-on，SSO）是一种访问控制，在多个软件应用中，用户只需登录其中一个应用，就可以成功访问其他应用；同样，用户只需注销其中一个应用，就可以成功注销其他应用。当一个公司产品线越来越复杂，做的东西越来越多，考虑到用户的便利性和业务的交集，单点登录也就变得越来越必然。譬如，阿里巴巴中的淘宝网，天猫，聚划算和一淘，考虑下面的场景：我们用户登录淘宝网购物，紧...原创 2014-05-18 01:08:23 · 537 阅读 · 0 评论 -
关于分布式系统的数据一致性问题
现在先抛出问题，假设有一个主数据中心在北京M，然后有成都A，上海B两个地方数据中心，现在的问题是，假设成都上海各自的数据中心有记录变更，需要先同步到主数据中心，主数据中心更新完成之后，在把最新的数据分发到上海，成都的地方数据中心A，地方数据中心更新数据，保持和主数据中心一致性（数据库结构完全一致）。数据更新的消息是通过一台中心的MQ进行转发。先把问题简单化处理，假设A增加一条记录Mess...原创 2014-05-18 00:34:22 · 397 阅读 · 0 评论 -
Linux实时网络监控工具：iftop
iftop是类似于top的实时流量监控工具，可以用来实时监控网卡的实时流量（可以指定网段）、反向解析IP、显示端口信息等。夜间值班的童鞋如果发现有邮局流量异常时可以使用该软件查看详细流量状况。下面介绍下iftop的安装和使用：安装：yum install flex byacc libpcap ncurses ncurses-devel libpcap-devel #安装依赖包...原创 2014-12-20 22:53:12 · 209 阅读 · 0 评论 -
GO语言介绍
Go语言介绍Go语言是Google于2009年发布的第二款开源的编程语言。Go语言的特点：准对多处理器应用程序的编程进行了优化，使用Go编译程序可以媲美C或C++的代码速度，而且拥有Python解释语言的简洁和开发效率。 下面的一段取自知乎：（包含自己的修改） Go的优势：可以编译成机器码，不依赖其他库静态类型语言，有动态语言的感觉。静态语言就是可以在编译的时...原创 2014-12-21 09:44:26 · 383 阅读 · 0 评论 -
Apache虚拟主机配置
Apache虚拟主机配置背景：我有3个网站，运行在一台服务器上。2个是php的，Apache+php模块。1个是Java的，运行于tomcat上。IP：200.200.200.200（示例IP） 目的：使用www.wealth.cn 访问php网站使用www.ax.com 访问php网站使用200.200.200.200 访问java网站(没有域名...原创 2014-12-13 18:23:49 · 218 阅读 · 0 评论 -
mod_proxy和mod_jk比较
mod_proxy和mod_jk比较Comparing mod_proxy and mod_jkAuthur：Mladen TurkPublished at 2007-7-16 3:22:57See source link here介绍Apache2.2 本身拥有如mod_proxy这样一系列优秀的模块，它们拥有一部分和mod_jk一样的功能（AJP Protocol），也能...原创 2014-12-13 12:56:11 · 303 阅读 · 0 评论 -
Apache反向代理
Apache使用mod_jk和mod_proxy反向代理tomcat httpd通过mod_proxy或者mod_jk模块来对tomcat进行反向代理，而且其比Nginx的强大，Nginx的反向代理只能通过http协议进行代理，而apache既可以代理http协议，还可以代理ajp协议，而且mod_proxy 还可以实现session会话的绑定。mod_jk其开发就是对tomca...原创 2014-12-13 12:54:45 · 916 阅读 · 0 评论 -
twitter系统架构分析
twitter系统架构分析（一）twitter的核心业务twitter的核心业务，在于following和be followed：（1）following-关注进入个人主页，会看到你follow的人发表的留言（不超过140个字），这是following的过程；（2）followed-被关注你发布一条留言，follow你的人将看到这条信息，这是be followed的过程；（二）twitt...原创 2014-12-11 21:55:41 · 408 阅读 · 0 评论 -
一分钟了解mongodb
一分钟了解mongodbmongo的由来截取自英文俚语humongous，意为”巨大的”，是否表明mongodb在设计之初就是为大数据量处理而生呢？mongodb是个啥mongodb是个可扩展、高性能、开源、面向文档(document-oriented)的数据库，由c++实现。http://www.mongodb.org/ 官网首页最显著的位置用了”agile”和”scalable”这两...原创 2014-12-11 21:17:38 · 202 阅读 · 0 评论 -
SSO单点登录
单点登录（Single Sign On），简称为 SSO，是目前比较流行的企业业务整合的解决方案之一。SSO的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。 技术实现机制当用户第一次访问应用系统1的时候，因为还没有登录，会被引导到认证系统中进行登录；根据用户提供的登录信息，认证系统进行身份校验，如果通过校验，应该返回给用户一个认证的凭据－－tick...原创 2014-10-27 00:39:33 · 159 阅读 · 0 评论 -
四层和七层负载均衡的区别
（一） 简单理解四层和七层负载均衡: ① 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配到真实的IP地址；四层通过虚拟IP+端口接收请求，然后...原创 2014-07-26 11:07:48 · 238 阅读 · 0 评论 -
jmap jstat jstack
查看对象创建的数量jmap -histo 29936 jmap -histo 29936 >a.log 查看a.log文件中对象创建的数量 dump出堆内存jmap -dump:format=b,file=outfile.bin 29936 打印heap的概要信息jmap –heap 3772 jstack可以观察到jvm中当前所有线...原创 2015-01-08 14:49:02 · 496 阅读 · 0 评论 -
Mac 安装 GO语言开发环境
官网：https://golang.org/go语言的安装：http://docscn.studygolang.com/doc/install 下载：go1.4.darwin-amd64-osx10.8.pkg默认安装，被安装了 /usr/local/go 目录并自设置了环境变量。 go env 可查看目前的go的环境变量 这go就可以执行了，下面还...原创 2014-12-21 13:35:32 · 808 阅读 · 0 评论 -
select、poll、epoll之间的区别总结
select、poll、epoll之间的区别总结05/05. 2014select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程...原创 2014-05-15 00:23:25 · 92 阅读 · 0 评论 -
五种开源协议的比较(BSD,Apache,GPL,LGPL,MIT) – 整理
五种开源协议的比较(BSD,Apache,GPL,LGPL,MIT) – 整理04/25. 2014当Adobe、Microsoft、Sun等一系列巨头开始表现出对”开源”的青睐时，”开源”的时代即将到来！最初来自：sinoprise.com/read.php?tid-662-page-e-fpage-1.html（遗憾的是这个链接已经打不开了），我基本未改动，只是进行了一些...原创 2014-05-15 00:21:53 · 138 阅读 · 0 评论 -
微博平台的RPC服务化实践
2014年第一分钟，新浪微博的发布量以808298条再次刷新记录，第一秒微博发布量相较去年提升55%。（数据来源：新浪科技 ）这是微博平台 RPC 框架 “Motan” 上线后第一次抗峰值，整体表现平稳，基本达到最初的“应用方无感知”的目标。在RPC服务化这个事情上，微博平台不是第一个吃螃蟹的：早的有亚马逊和eBay等国外先驱，近的有Twitter的finagle，淘宝的dubbo等等，网...原创 2014-05-14 23:46:37 · 155 阅读 · 0 评论 -
各种分布式文件系统简介
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 Google学术论文，这是众多分布式文件系统的起源==================================Google File Sys...原创 2012-11-13 09:58:36 · 2578 阅读 · 0 评论 -
NFS、NAS、SAN、Squid、LVS
NFS简介----------------------------------------------------NFS是Network File System的简写,即网络文件系统.网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS. NFS允许一个系统在网络上与他人共享目录和文件。通过使用NFS，用户和程序可以像访问本地文件一样访问远端系统上的文件。 ...原创 2012-11-03 13:38:48 · 333 阅读 · 0 评论 -
千兆网卡如何才能达到全速
1000Mb网卡如何才能跑满,跑到100%? 作者：赵磊博客：http://elf8848.iteye.com千兆网卡理论最大传输速度是(1024Mbit/s=128MByte/s),注意b与B差了8倍。要想达到最大传输速度要满足三个条件 : 1、使用超五类双绞线，线序没什么变化，是568B。2、把电脑BIOS的SA...原创 2012-03-30 16:44:45 · 5393 阅读 · 0 评论 -
Java日志方案概述
日志解决方案 ------------------------------------------------------------------------------------------------一、org.apache.commons.logging.Log方案 （JCL方案）二、slf4j方案 SLF4J和JCL的由来 -----------...原创 2012-04-29 18:33:13 · 200 阅读 · 0 评论 -
memcached相关知识
一、Memcached一些特性和限制：•在 Memcached中可以保存的item数据量是没有限制的，只有内存足够•Memcached单进程最大使用内存在32位操作系统上为2G，要使用更多内存，可以分多个端口开启多个Memcached进程•最大30天的数据过期时间,设置为永久的也会在这个时间过期，常量REALTIME_MAXDELTA60*60*24*30控制...原创 2011-08-01 22:50:09 · 184 阅读 · 0 评论 -
你想建设一个能承受500万PV/每天的网站吗？如果计算呢？
作者：赵磊博客：http://elf8848.iteye.com 你想建设一个能承受500万PV/每天的网站吗？ 500万PV是什么概念？服务器每秒要处理多少个请求才能应对？如果计算呢？ PV是什么：PV是page view的简写。PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv。 计算模型： 每台服务器每秒处理请求的数量=((80%*总PV量)/(24小...原创 2011-03-18 22:09:24 · 323 阅读 · 0 评论 -
优秀IT技术文章集(最新)(高质量)
作者：赵磊博客：http://elf8848.iteye.com 阅读优秀的文章可以使你快速进步，本文收集了广受好评的优秀IT技术文章，在你有空时读一读，安静下来思考一下。 不断更新中。。。 ---------------优秀blog---------------- Sina App Engine Blog并发编程网 结...原创 2011-02-13 23:38:36 · 495 阅读 · 0 评论 -
NoSql对比分析
作者：赵磊博客：http://elf8848.iteye.com传统“关系型数据库”在应付互联网WEB2.0应用已显示的力不从心，由其是超大规模和高并发的SNS类型的WEB2.0网站。主要需要应对以下三方面难题：1、对数据库高并发读写的要求。2、对数据库高可扩展性和高可用性的要求。3、对海量数据高效存储和访问的要求。 ”关系型数据库“固有的特性确用处不大...原创 2011-04-25 22:35:10 · 218 阅读 · 0 评论 -
关注编程语言
GO语言-谷歌2009年11月10日，谷歌发布了一种全新的编程语言——GO。Go将主要定位于系统程序开发，支持泛型编程，内存管理，数组安全，并且编译快速，可以被用于网络服务器、存储系统和数据库及其它领域。使用它开发速度可超过phtyon，运行速度和c++也有一拼。总之，GO给小编的初步印象是简单、简洁、高效，其融合了C++的高效和Java的灵活，并且语法特色也和它们非常的相似，对于C++及Java...原创 2011-04-25 22:32:07 · 247 阅读 · 0 评论 -
TFS（Taobao File System）安装方法
文章目录：一、TFS（Taobao File System）安装方法二、TFS（Taobao File System）配置dataServer、分区、挂载数据盘三、TFS（Taobao File System）配置NameServer四、TFS（Taobao File System）Java Client-----------------------...原创 2012-11-13 10:40:29 · 447 阅读 · 0 评论 -
TFS（Taobao File System）配置dataServer、分区、挂载数据盘
目前的情况，tfs安装在/usr/local/tfs/在 /usr/local/tfs/conf/目录，共有三个文件需要配置：ns.conf、ads.conf和ds.conf 各个文件功能ns.conf用于配置nameserver，ds.conf用于配置dataserver，ads.conf为可选配置文件，用于配置nameserver和dataserver地...原创 2012-11-13 11:22:25 · 250 阅读 · 0 评论 -
服务过程中会遇到的问题
服务化，也可以叫SOA，但在我们还是尽量避免用这个词， 因为它被炒得太热，一味的套SOA的概念，容易迷失原有的方向。 要向服务化推进，当然就需要搭建一些基础设施，来协助这个过程的实现， 那都有哪个方面的工作要做呢，这里把我暂时想到的列一列。 1. 服务的定义 服务提供者要怎么暴露一个服务？服务消费者要怎么引用一个服务？ 肯定需要一个声明式服务定义框架，可以用注解，描述文件，DSL等， 这个要不要...原创 2014-05-14 23:43:02 · 385 阅读 · 0 评论 -
互联网网站架构升级----消息中间件的实现方案
消息中间件对目前大中型互联网来说是非常重要的，在业务数据流动中仅次于RPC服务调用，担负着越来越复杂的网站业务从主流程上解耦的重要责任； 从目前互联网对消息中间件的需求来看应该分为两种类型，一种是和钱相关的需求，一种是和钱无关的需求；和钱相关的需求消息的可靠性是放在第一位的，和钱无关的需求是速度放在第一位的，但这两种需求又是矛盾的，很难设计出一种既可靠又高效的系统，除非将两套方案捏合成一个...原创 2014-05-14 22:12:52 · 167 阅读 · 0 评论 -
Wireshark
WiresharkWireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。原创 2013-07-10 19:16:28 · 76 阅读 · 0 评论 -
Node.js
Node.js中文手册http://www.nodecn.org 使用Node.js处理图片http://www.jasontconnell.com/comment/image-processing-with-nodejs Node.js streams 介绍http://jspro.com/nodejs/introduction-to-streams/...原创 2012-12-18 23:03:26 · 103 阅读 · 0 评论 -
Performance Test Framework (PTF)是压力测试框架
Performance Test Framework (PTF)是压力测试框架根据我工作中做压力测试的程序不断完善而来，现在发布为一个项目。Google Code 上的 PTF项目地址https://code.google.com/p/performance-test-framework/ 采用Java语言开发，精密、高效、可扩展的测试平台。如果你开发了某种Soc...2012-12-05 16:45:41 · 319 阅读 · 0 评论