[16-1-03]瞬间响应：网站的高性能架构

第二章 架构 

第4部分 瞬时响应：网站的高性能架构

4网站性能测试

4.1开发视角的网站性能：响应延时，系统吞吐量，并发处理能力，系统稳定性等

4.2运维视角网站性能：主要是基础设施性能和资源利用率

网络运营商宽带能力，服务器硬件配置，数据中心网络架构，服务器和网络宽带资源利用率等。

4.3网站性能测试主要指标：响应时间，并发数，吞吐量，性能计数器

4.4并发数：系统同时能处理的请求数，反应系统的负载能力；

4.5吞吐量：单位时间内系统处理的请求数量，体现系统的整体处理能力；

TPS(每秒事务数)，HPS(每秒HTTP请求数),QPS(每秒查询数)；

4.6性能计数器：描述服务器或者操作系统性能的一些数据指标，包括System Load,对象与线程数，内存使用，CPU使用，磁盘与I/O等指标。也是运维监控的指标；

System Load系统负载，正在被CPU执行和等待被CPU执行的进程数目总和，反映系统忙闲的重要指标；load的理想值是CPU的数据。

5.性能优化策略

5.1分析性能的主要因素有：内存，磁盘，网络，cpu，代码问题或架构设计不合理，系统资源不足

5.2根据网站分层架构，可分为web前端性能优化，应用服务器性能优化，存储服务器性能优化3类；

5.3web前端性能优化：

5.3.1浏览器访问优化

减少http请求，主要手段是合并css，合并js，合并图片等。

使用浏览器缓存，css，js，logo，图标静态资源文件更新频率低，缓存。

启用压缩，服务器端压缩，浏览器端解压缩。

css放页面上面，js放页面最下面，浏览器下载完全部css后才开始渲染，相反浏览器加载完js后，立马执行，可能阻塞整个页面。

减少cookie传输，cookie包含在每次请求和响应中，太大的cookie会严重影响数据传输。

CDN加速，CND部署在网络运营商的机房，用户请求第一跳到达了CDN服务器，CND一般缓存静态资源，极大改善页面打开速度。

反向代理，缓存静态资源

6.应用服务器性能优化  主要手段：缓存，集群，异步

6.1分布式缓存     

网站性能优化第一定律：优先考虑使用缓存优化性能

hashCode可以理解为对象的唯一标示符

6.2合理使用缓存

6.2.1频繁修改的数据，不做缓存

6.2.2不是热点访问数据，不做缓存，内存资源宝贵，会把数据挤出去

6.2.3缓存可用性，缓存服务崩溃时，数据库可能会因为承受不了压力宕机。

缓存不应该当作可靠数据源使用，所以缓存热备这种设计有违设计初衷。

6.2.4通过分布式缓存服务器集群，即使一台服务器宕机，只有部分缓存数据失效

6.2.5缓存预热，在启动缓存系统的时候就把热点数据加载好。

6.3分布式缓存架构

6.3.1缓存与应用分离部署，缓存系统部署在一组服务器上，应用程序通过一致性hash路由算法选择缓存数据，缓存服务器之前互不通信。

6.3.2集群内服务器互不通信使得集群几乎无限制的线性伸缩，这也是目前流行许多大数据技术的基本架构特点。

7.异步操作

7.1使用消息队列将调用异步化，可改善网站拓展性，还可以改善网站的性能。

8.使用集群

8.1网站高并发访问的背景下，使用负载均衡技术为一个应用构建一个由多台服务器组成的服务器集群。

9.代码优化

9.1多线程，主要的web应用服务器都采用多线程的方式响应并发用户请求，网站开发天然就是多线程编程。

9.2从资源利用的角度看，使用多线程的原因主要有两个：io阻塞和多cpu。

当前线程进行io处理的时候，会被阻塞释放cpu以等待io操作完成，由于io操作(不管是磁盘io还是网络io)通常都需要较长的时间，这是cpu可以调度其他的线程进行处理。理想的load状态是即没有线程等待也没有cpu空闲，利用多线程io阻塞与执行交替进行，可最大限度利用cpu资源。

现在服务器都是多核，为了最大限度的使用这些cpu，必须启动多线程。

9.3解决多线程安全的主要手段有如下几点：

将对象设计成无状态对象：对象本身不存储状态信息(对象无成员变量，或者成员变量也是无状态对象)。servlet对象就是无状态对象。

使用局部变量：这些对象会被每个进入该方法的线程创建。

并发访问资源时使用锁：多线程访问资源的时候，通过锁的方式使多线程并发操作转化为顺序操作，从而避免资源被并发修改。随着编程需要和操作系统的进步，出现各种轻量级锁，使得运行期线程获取锁和释放锁的代价都变小了。但是锁导致线程同步顺序执行，可能会对系统性能产生严重影响。

10.资源复用

10.1系统运行时，要尽量减少那些开销很大的系统资源的创建和销毁。比如数据库连接，网络通信连接，线程，复杂对象等。资源复用主要有两种模式：单例和对象池。

10.2单例虽然是设计模式中较多被诟病的一个模式，但由于目前web开发中主要使用贫血模式，从service到dao都是无状态的对象，使用单例也就是自然而然了。

10.3对象池模式通过复用对象实例，减少对象的创建和资源消耗。

10.4对于每个web请求，web应用服务器都需要创建一个独立的线程去处理，应用服务器也采用线程池的方式。这些所谓的连接池，线程池，本质上都是对象池，即连接，线程都是对象，池管理方式也基本相同。

11.数据结构

11.1hash表的读写性能很大程度上依赖hashcode的随机性，即hashcode越随机散列，hash表的冲突就越少，读写性能也就越高。

目前比较好的字符串hash散列算法有Time33，即对字符串逐字符迭代乘以33，求的hash值。

但相似的字符串hashcode比较接近，所以一般是对字符串取信息指纹，即通过md5加密，然后再hash计算。即使字符串微小的变化也可以引起信息指纹的巨大不同。

12.垃圾回收

12.1栈主要存储线程上下文信息，如方法参数，局部变量等。堆存储对象的内存空间，对象的创建和释放，垃圾回收都是在堆中进行。

12.2堆空间分为年轻代和年老代，年轻代又分为3个区，eden，from，to。

新建对象总是在eden区被创建，当eden区空间已满，就会出发一次young gc，把还在使用的对象复制到from区，这样eden区就全部是未使用的空间。下次eden区空间已满，就会触发一次young gc，把eden区和from区还在使用的对象复制到to区，下次eden区空间已满，就会把eden区和to区还在使用的对象复制到from区，这样，某些对象就会反复在from和to区复制，如果超过阀值，对象还未被释放，就会被复制到年老代，如果年老代空间也已经全部用完，就会触发一次full gc，full gc会对系统性能产生较大影响。

因根据业务特点和对象生命周期，合理设置年轻代和老年代大小，尽量减少full gc。

13.存储性能优化

13.1海量数据读写对磁盘造成巨大压力，虽然可以通过cache解决一部分压力，但很多时候磁盘仍然是系统最严重的瓶颈。