云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告

Jmeter和Tsung之间的对比1、压力生成原理对比   Jmeter采用多线程的方式来设置并发度,对CPU和内存的消耗比较大   tsung采用面向高并发的erlang语言开发的，轻量级的进程方式，在并发方面有天然优势2、多client的压力器支持    都可以进行分布式的部署多个压力器，来承担大并发的压力，当然应对大并发首先需要先对系统做调优，如tcp/ip的相关参数、文

a、空间换时间（多级缓存）              1）客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag）              2）反向代理缓存              3）应用端的缓存(memcache)

如何分析系统的性能问题：从以下几个维度进行考虑 当并发压力加大时，往往是吞吐量上不去，肯定是某一个方面出现了瓶颈，（比如CPU，内存（大量的swap），磁盘IO，网络IO，操作系统，应用）  如果CPU比较高（user,sys,wa），user高，可以把系统的线程dump出来，观察系统正在做的逻辑，优化逻辑；sys高，则说明kernel耗费了大量的CPU时间，比如当前的线程的切换比较厉

最近在MapReduce的逻辑运算测试的时，发现单个节点的CPU的IO wait值比较高，CPU大量的消耗在等待IO操作上。单个节点的运算的数据量比较大，每秒的IO吞吐量将近200M，iotop监控了一下主要是消耗在tasktacker从datanode节点读取数据上。从以下几个角度上对这个问题进行优化。1、源数据压缩存储2、dfs.data.dir分多个目录存储3、io.fi

前段时间做的一个HBase分页查询性能压测的分享 http://download.youkuaiyun.com/detail/yangbutao/5806335