
performance
追寻北极
没有月亮的晚上,我们相信星光。没有路可走的时候,我们相信远方.--
展开
-
Fiddler的基本介绍
Fiddler的官方网站: www.fiddler2.com Fiddler官方网站提供了大量的帮助文档和视频教程, 这是学习Fiddler的最好资料。 Fiddler是最强大最好用的Web调试工具之一,它能记录所有客户端和服务器的http和https请求,允许你监视,设置断点,甚至修改输入输出数据,Fiddler包含了一个强大的基于事件脚本的子系统,并且能使用.net语言进行转载 2015-10-13 12:55:47 · 689 阅读 · 0 评论 -
MongoDB GridFS 数据读取效率 benchmark
GridFS 是 MongoDB 下的一个子模块,利用这一模块,可以实现使用MongoDB存储文件,MongoDB 二进制包的bin目录下的mongofile 命令即可模拟实现该功能。原文链接:http://lgone.com/html/y2010/815.html数据来源:http://www.coffeepowered.net/2010/02/17/serving-fi转载 2015-05-30 08:32:55 · 1083 阅读 · 0 评论 -
使用Nginx的proxy_cache缓存功能取代Squid[原创]
[文章作者:张宴 本文版本:v1.2 最后修改:2009.01.12 转载请注明原文链接:http://blog.zyan.cc/nginx_cache/] Nginx从0.7.48版本开始,支持了类似Squid的缓存功能。这个缓存是把URL及相关组合当作Key,用md5编码哈希后保存在硬盘上,所以它可以支持任意URL链接,同时也支持404/301/302这样的非200状态码。虽然目前官转载 2015-05-30 09:36:26 · 662 阅读 · 0 评论 -
关于mongo的启动参数的优化, 请教
本人是做网络游戏开发的, 因为开发人员少, 在mysql和mongo之间, 就选了mongo因为在开发过程中不用维护表的结构而徒增工作量.网游有两种数据库, 一种是作为玩家数据的存储, 另一种是单纯的日志. 存储玩家数据的库, 第一是一定要稳定, 其次再追求读取,存储,修改的效率. 日志库, 单纯的存储日志, 只需要查询和统计的时候方便就好. 我是第一次使用mongo, 所转载 2015-05-18 15:06:02 · 686 阅读 · 0 评论 -
使用Apache Benchmark给自己的网站进行测试
[文章作者:磨延城 转载请注明原文出处: http://mo2g.com/view/38/ ]如果你是一位站长,随着自己苦心经营的网站越来越受欢迎,网站的流量与日俱增,那么,你是否了解自己的网站,最大能承受多少个用户同一时间对网站进行访问?如果网站长时间无法响应,或是响应速度太慢,这会导致有很多的抱怨接踵而至,比如:如果你是一位站长,随着自己苦心经营的网站越来越受欢迎,网站转载 2015-05-30 15:18:24 · 1887 阅读 · 0 评论 -
nginx + gridfs 实现图片的分布式存储(一) 安装
1、前期准备sudo yum -y install pcre-devel openssl-devel GeoIP-devel zlib-devel 2、下载nginx-gridfs源码,并将mongodb-mongo-c-driver源码添加到nginx-gridfs/mongo-c-driver中# 下载地址会因为代码版本号的变更不能使用,博友们自己搜一下吧。转载 2015-05-30 10:25:33 · 1786 阅读 · 1 评论 -
使用 MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的?
修改写补充说明举报添加评论 分享 • 邀请回答按投票排序按时间排序6 个回答赞同8反对,不会显示你的姓名郭理靖,京东开放平台邓涛、Kenny、李波 等人赞同压力以及数据量比较大的业务不推荐使用Mongo GridFS。Mongo GridF原创 2015-05-30 09:19:26 · 1693 阅读 · 0 评论 -
nginx-gridfs Benchmarking Raw Results
Raw DataSpreadsheet with test results (ODF format)These following links show the raw output from the benchmarking utilities.GridFS Over NetworkThis test scenario shows performance for原创 2015-05-30 15:25:10 · 1443 阅读 · 0 评论 -
分布式文件系统简介
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 Google学术论文,这是众多分布式文件系统的起源==================================Google Fil转载 2015-05-30 09:12:23 · 635 阅读 · 0 评论 -
Using varnish to accelerate file serving out of GridFS
After migrating some image files from file system to gridfs and serving them using nginx-gridfs, I realized that serving files out of gridfs is significantly slower than before (This is also stated转载 2015-05-30 15:36:35 · 873 阅读 · 0 评论 -
使用Apache Benchmark做压力测试遇上的5个常见问题
[文章作者:磨延城 转载请注明原文出处: http://mo2g.com/view/50/ ]这一篇文章主要记录我在使用Apache Benchmark(一下检测ab)做网站压力测试的过程中,遇到的一些问题以及解决办法,方便日后使用.这一篇文章主要记录我在使用Apache Benchmark(一下检测ab)做网站压力测试的过程中,遇到的一些问题以及解决办法,方便日后使用。转载 2015-05-30 15:18:39 · 2343 阅读 · 2 评论 -
vmstat iostat 分析
1,iostat -xawait:每一个IO请求的处理的平均时间(单位是微秒)。这里可以理解为IO的响应时 间,一般地系统IO响应时间应该低于5ms,如果大于10ms就比较大了。%util:接近100%,表明I/O请求太多,I/O系统已经满负荷,磁盘可能存在瓶颈,一般%util大于70%,I/O压力就比较大,读取速度有较多的wait(当然如果是多磁盘,即使%util是100%,因 为磁盘的原创 2015-06-07 15:18:12 · 1340 阅读 · 0 评论 -
Redis 在新浪微博中的应用
Redis简介Redis基本原理新浪Redis使用历程Redis应用场景遇到的问题及解决办法经验总结Redis 在新浪微博中的应用Redis简介1. 支持5种数据结构支持strings, hashes, lists, sets, sorted setsstring是很好的存储方式,用来做计数存储。sets用于建立索引库非常棒;2. K-V 存储 vs K转载 2015-06-08 12:41:17 · 703 阅读 · 0 评论 -
每天一个linux命令(47):iostat命令
Linux系统中的 iostat是I/O statistics(输入/输出统计)的缩写,iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。同vmstat一样,iostat也有一个弱点,就是它不能对某个进程进行深入分析,仅对系统的整体情况进行分析。iostat属于sysstat软件包。可以用yum install sysstat 直接安装。转载 2015-10-13 12:40:48 · 603 阅读 · 0 评论 -
网站启用GZip压缩后,速度快了3倍!
GZip压缩,是一种网站速度优化技术,也是一把SEO优化利器,许多网站都采用了这种技术,以达到提升网页打开速度、缩短网页打开时间的目的。 本文是一篇研究性文章,将通过某个案例来给大家显示网站采用GZip压缩前后的对比效果。 这里将要研究的对象是园子的博客http://www.yzznl.cn/,该博客已经采用了GZip压缩技术。你可以通过这里进行GZip压缩检测转载 2015-09-28 16:46:09 · 10638 阅读 · 1 评论 -
图片GZip压缩后体积竟然变大了
启用GZip压缩 速度提高明显 网站启用gzip压缩,是网站优化的常见方法。不过gzip压缩,默认启用的只是html文件的压缩,对其他类型的文件是不进行压缩的,要想压缩其他文件类型,例如CSS、JS等文件,则还需要手动配置一个文件才行,详细参看IIS启用GZIP压缩css、js无效的原因及解决方法。如下图,把要压缩的文件类型加进去。GZip压缩文件类型转载 2015-09-28 16:45:17 · 8055 阅读 · 1 评论 -
mongodb适合做游戏开发吗?修改
因为网络游戏需求变动很快, 所以用mysql的话需要去维护表结构和字段, 对于游戏开发来说其实是不需要浪费这么多时间在这上面的,所以我想选用mongo来做游戏的数据库.看到有人说mongo最好是来处理对数据准确性要求不高的部分, 让我很费解.. 所以在此问一下各位..修改举报添加评论 分享 • 邀请回答按投票排序按时间排序转载 2015-07-23 12:14:18 · 2117 阅读 · 0 评论 -
Mysql及MongoDB并发测试对比
我在前面的文章内说过,准备做一个MongoDB与Mysql的并发对比测试,经过近一周的测试,已经完成,结果如下:MongoDB与Mysql的并发对比测试曲线图:我们大致总结一下:通过数据和图表可以看到,在并发测试下,MongoDB对Mysql的优势没有在单用户那么大.了(可参考本空间前面的测试文章)。Mongodb的insert及update性能大约是Mysql的2转载 2015-07-23 10:25:01 · 2753 阅读 · 0 评论 -
MongoDB和MySQL性能测试及其结果分析2010
编者用四组数据的查询和插入操作说明MongoDB、HandlerSocket和MySQL在QPS、CPU、IO三种情况下性能的差异。 AD: 一、测试环境 1、测试服务器状况 共涉及4台测试服务器: 压力测试服务器 Web服务器 MongoDB服务器 MySQL服务器。 机器配置为: CPU:Int转载 2015-07-23 10:24:21 · 693 阅读 · 0 评论 -
Redis各种数据结构内存占用测试
启动时:(redis为空) 插入数据量都为100W(100W个key或者list中100W个值,或者1000个key,每个key中1000个值) String Key value # Memory used_memory:121763808 used_memory_human:116.12M used_memory_rss:124956672 used转载 2015-07-14 10:03:14 · 2184 阅读 · 1 评论 -
关于Redis的应用
写这篇文章主要是在开发www.ximalaya.com的feed(登录首页看到的好友动态,未登录是看不到的)模块使用Redis的一些经验。(www.ximalaya.com是音频为传播介质的SNS网站,喜欢的同学不妨用一用,也有APP的,还是一款非常不错的产品。音乐,相声,有声小说等等 一网打尽)。关于Feed本身的讨论以后再专门发博,有兴趣的同学也可以先开博,然后共同讨论。Redis这个转载 2015-07-14 10:30:19 · 998 阅读 · 0 评论 -
网络监控汇总(netstat)
1,获取同一个ip连接22端口超过0个的计数和IPnetstat -an| grep :22 | grep -v 127.0.0.1 |awk '{ print $5 }' | sort|awk -F: '{print $1,$4}' | uniq -c | sort|awk '$1 >0 {print $1,$2}'2,用netstat查看服务器网络连接状态netstat原创 2015-06-11 10:48:24 · 1365 阅读 · 0 评论 -
MongoDB性能测试与Python测试代码
最近参与公司一个项目,计划对在线平台的大规模查询做到快速响应,预估数据总量大概在2-3亿条,数据库并发量大概每秒1500,一年后并发大概3000每秒,经过在Redis和mongodb之间艰难的选择之后,决定使用mongodb,主要看中其平行扩展能力和GridFS上的Map/Reduce。预估项目完成上线后,高峰时段每秒并发查询在1500-3000之间。其实我个人是比较喜欢Red转载 2015-05-30 15:07:23 · 991 阅读 · 0 评论 -
网址前端优化技巧
1 前端优化必要性随着互联网的发展,前端优化越来越被人们重视,在一个大型的大型电子商务网站技术架构中,前端架构一定是一项必不可少的工作,国内几个大型的互联网公司也有非常强大的前端技术人员。在业界享有名气淘宝 UED团队就有好几十人。在浏览器访问一个网站时,有 10%-20% 的时间是花在下载 HTML 上面,有 80%-90% 时间是花在下载页面中所有组件上面。如果我们转载 2015-05-30 09:26:51 · 563 阅读 · 0 评论 -
Web性能测试工具推荐
WEB性能测试工具主要分为三种:一种是测试页面资源加载速度的;一种是测试页面加载完毕后页面呈现、JS操作速度的;一种是总体上对页面进行评价分析。~~~如果谁有更好的工具也请一起分享下1. Firebug2.HttpWatch 3.DynaTrace's Ajax Edition4.Speed Tracer5转载 2014-08-16 10:09:00 · 734 阅读 · 0 评论 -
YSlow使用指南
在前端开发中,常常需要评估页面内容大小,请求数量,以及JS,CSS,图片等各类型文件所占的大小,以及有没有可优化的空间。那么YSlow是您必不可少的选择。YSlow简介: YSlow是由Yahoo开发者团队发布的一款评估网站页面性能的工具,主要支持火狐(firefox)浏览器、谷歌(chrome)浏览器、欧朋(opera)浏览器和移动版。如下图:主页地址:ht原创 2014-08-16 09:30:51 · 2119 阅读 · 0 评论 -
常见的系统瓶颈
转载:http://www.youkuaiyun.com/article/2012-11-08/2811571-Big-List-Of-20-Common-Bottlenecks在Zen And The Art Of Scaling - A Koan And Epigram Approach中,Russell Sullivan提出了一个非常有趣的总结:软件开发常见的20个传统的系统瓶颈,这听起来像是说有2转载 2014-08-27 23:03:26 · 973 阅读 · 0 评论 -
Node.js 与Nginx比较
Node.js 与Nginx之间也可以稍作比较。通过我们的线下测试,发现Nginx的性能比Node.js的HTTP模块要好很多。但Nginx考量的是面向客户端, 后端业务方面依然是受具体业务影响。而Node.js则可以利用异步I/O来实现业务并行,以提升效率。从这点看,Nginx没有Node.js灵活。此 外,Node.js后来的发展方向不再单独是一个Web服务器,而是一个面向网络的平台,它甚至可原创 2014-06-17 09:39:28 · 6677 阅读 · 0 评论 -
Linux服务器网络参数优化
收集了一下,挺多的。注释很详细了:# 对于一个新建连接,内核要发送多少个SYN连接请求才决定放弃。net.ipv4.tcp_syn_retries = 2# 对于远端的连接请求SYN,内核会发送SYN+ACK数据报,以确认收到上一个SYN连接请求包。这是所谓的三次握手( threeway handshake)机制的第二个步骤。这里决定内核在放弃连接之前所送出的SYN+ACK数目。n转载 2014-09-08 01:08:51 · 1221 阅读 · 0 评论 -
征服 TIME_WAIT !
前面简单介绍了一次Http的通讯过程,下面让我们看看通讯过程中的连接状态吧: 图中“客户”与“服务器”是相对的!谁是客户谁又是服务器你说了算。 图中显示了“TCP正常连接建立和终止”所对应的状态,那么TIME_WAIT的来由已经很清晰了。主动发起关闭的一方,关闭完成后会进入TIME_WAIT状态。 TIME_WAIT自身并不会对系统有大的影响,但对于服务器系统转载 2014-09-08 01:09:06 · 652 阅读 · 0 评论 -
tomcat的maxThreads、acceptCount(最大线程数、最大排队数)
tomcat 6的Connector配置如下Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" maxThreads="800" acceptCount="1000"/>转载 2014-08-21 18:15:54 · 1241 阅读 · 0 评论 -
浏览器 http 200(from cache) 和 304
当我们想尽办法提高服务器负载能力的时候,是否曾想过,其实浏览器也有缓存功能,我们也可以利用浏览器的缓存功能来减少服务器的负载,提高网站吞吐量?本章我们就来讲讲浏览器的缓存功能并加以利用。 当我们使用抓包工具查看http状态时,我们可以看到200,304,from cache之类的标识,也许你也早已注意到了他们,并明白他们的意思。但是,你是否想过在你的程序中加入代码主动告诉浏览器,更好地利用原创 2014-08-21 14:18:51 · 6864 阅读 · 2 评论 -
使用JMeter做压力测试
使用JMeter做压力测试1.下载Jmeter地址:http://jmeter.apache.org/download_jmeter.cgi 2.启动jmeter运行bin/jmeter.bat3.添加线程组在TestPlan节点上右键,Add-->Threads(Users)-->Thread Group。Number of Thr转载 2014-08-20 13:15:04 · 2086 阅读 · 0 评论 -
理解 JMeter 聚合报告(Aggregate Report)
Aggregate Report 是 JMeter 常用的一个 Listener,中文被翻译为“聚合报告”。今天再次有同行问到这个报告中的各项数据表示什么意思,顺便在这里公布一下,以备大家查阅。如果大家都是做Web应用的性能测试,例如只有一个登录的请求,那么在Aggregate Report中,会显示一行数据,共有10个字段,含义分别如下。Label:每个 JMeter 的 element转载 2014-08-20 13:23:09 · 1861 阅读 · 0 评论 -
ApacheBench(ab)测试工具
服务器负载太大而影响程序效率也是很常见的,Apache服务器自带有一个叫AB(ApacheBench)的工具,可以对服务器进行负载测试 基本用法:ab -n 全部请求数 -c 并发数测试url 例:ab -n 1000 -c 50 http://www.abc.com/index.html #######################################原创 2014-08-16 10:10:00 · 785 阅读 · 0 评论 -
mysql oralce 最大连接数
查看当前的连接数,可以用select count(*) from v$process;设置的最大连接数(默认值为150)select value from v$parameter where name = ‘processes’;修改最大连接数alter system set processes = 300 scope = spfile;原创 2014-07-15 09:38:28 · 839 阅读 · 0 评论 -
redhat下mongodb权限设置
0,创建用户,然后删除,否则没有authSchema>db.createUser( { user: "maodan", pwd: "maodan_2015", roles: [ { role: "userAdmin", db: "maodan" }, { role: "readWrite", db: "maodan" }, { role: "dbOwner", db原创 2015-06-16 14:33:23 · 616 阅读 · 0 评论 -
优化措施
a,分而治之 多级分流 多路归并排序b,框架用最熟悉的c,优化从最上层的业务逻辑开始d,硬件舍得投入1、动态资源和静态资源分离;2、CDN;3、负载均衡;4、分布式缓存;5、数据库读写分离或数据切分(垂直或水平);6、服务分布式部署。业务逻辑服务器:Disruptor模式页面服务器:缓存缓存缓存数据库:内存内存内存。满原创 2015-05-15 15:31:25 · 666 阅读 · 0 评论 -
MongoDB 运行状态、性能监控,分析
这篇文章的目的是让你知道怎么了解你正在运行的Mongdb是否健康。mongostat详解mongostat是mongdb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态,并输出。如果你发现数据库突然变慢或者有其他问题的话,你第一手的操作就考虑采用mongostat来查看mongo的状态。它的输出有以下几列:inserts/转载 2015-05-15 15:12:03 · 688 阅读 · 0 评论 -
图片展示/分享型的网站如何提高图片的载入速度?
2 个回答沈瞳,程序员啊宋一喵、李志军、肖元安 等人赞同虽然经验浅薄,但好坏也算是做过了一个以图片为主的应用。浅见如下,欢迎指正。首先,要想比较好的回答这个问题,我们可能需要对“提高图片的载入速度”作一个更明确的定义。假定po主想问的是“让用户感觉图片载入得更快”的话,大概有如下几个方面可以有所帮助:1、减小图片尺寸a) 压缩图片对于转载 2015-04-22 15:45:34 · 1272 阅读 · 0 评论