读书笔记 大型网站技术架构：核心原理与案例分析

大型网站架构演化

• 应用服务和数据服务分离
• 使用缓存改善网站性能
• 使用应用服务器集群改善网站的并发处理能力
• 数据库读写分离
• 使用反向代理和CDN加速网站响应
• 使用分布式文件系统和分布式数据库系统
• 使用NoSQL和搜索引擎
• 业务拆分
• 分布式服务

大型网站架构模式

网站架构模式

• 分层
  • 应用层：负责具体业务和视图展示，如网站首页及搜索输入和结果展示
  • 服务层：为应用层提供服务支持，如用户管理服务，购物车服务等
  • 数据层：提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等
• 分割业务
• 分布式
• 集群
• 缓存
  • CDN
  • 反向代理
  • 本地缓存
  • 分布式缓存
• 异步
• 冗余 备份
• 自动化
• 安全

架构模式在新浪微博的应用

新浪微博采用异步推拉结合的模式，用户发表微博后系统将微博写入消息队列后立即返回，用户响应迅速，消息队列消费者任务将微博推送给所有当前在线粉丝的订阅列表中，非在线用户登录后再根据关注列表拉取微博订阅列表。

瞬时响应：网站的高性能架构

web前端性能优化

• 浏览器访问优化
  • 减少http请求，主要手段是合并css合并JavaScript、合并图片。将浏览器一次访问需要的JavaScript、css合成一个文件，这样浏览器就只需要一次请求。
  • 使用浏览器缓存，通过设置HTTP头中Cache-Control和Expires的属性，可设定浏览器缓存。
  • 启用压缩
  • CSS放在页面最上面，Javascript放在页面最下面
  • 减少Cookie传输
• CDN加速
  • CDN的本质仍然是一个缓存，而且将数据缓存再离用户最近的地方
• 反向代理

应用服务器性能优化

• 分布式缓存
  • Memcached
• 异步操作
  • 消息队列
• 使用集群
  • 负载均衡
• 代码优化
  • 多线程，使用多线程的原因主要有两个：IO阻塞与多CPU，利用多线程IO阻塞与执行交替进行，可最大限度地利用CPU资源。多核cpu启动多线程。
• 资源复用
  • 系统运行时，要尽量减少那些开销很大的系统资源的创建和销毁，比如数据库连接、网络通信连接、线程、复杂对象等。从编程角度，资源复用主要有两种模式：单例和对象池。
• 数据结构
• 垃圾回收

存储性能优化

• B+树和LSM树
• RAID和HDFS

永无止境：网站的伸缩性架构

应用服务器集群的伸缩性设计

• HTTP重定向负载均衡
• DNS域名解析负载均衡
• 反向代理负载均衡
• IP负载均衡
• 数据链路层负载均衡
• 负载均衡算法
  • 轮询
  • 加权轮询
  • 随机
  • 最少连接
  • 源地址散列

固若金汤：网站的安全架构

网站应用攻击与防御

• XSS攻击
• 注入攻击
• CSRF攻击
• 其他攻击和漏洞
• Web应用防火墙
• 网站安全漏洞扫描

信息加密技术及密钥安全管理

• 单向散列加密
• 对称加密
• 非对称加密
• 密钥安全管理

信息过滤与反垃圾

• 文本匹配
  • Trie树的变种、双数组Trie算法
  • 多级Hash表
• 分类算法
• 黑名单
  • 布隆过滤器

网购秒杀系统架构设计案例分析

秒杀系统的应对策略

• 秒杀系统独立部署
• 秒杀商品页面静态化
• 租借秒杀活动网络带宽
• 动态生成随机下单页面URL
  • 为了避免用户直接访问下单页面URL，需要将该URL动态化，即使秒杀系统的开发者也无法在秒杀开始钱访问下单页面的URL。

秒杀系统架构设计

秒杀系统的页面设计应尽可能简单，购买按钮只有在活动开始的时候才变亮，下单表单也尽可能简单，购买数量只能是一个且不可以修改。

如何控制秒杀商品页面购买按钮的点亮

购买按钮只有在秒杀活动开始的时候才能点亮，在此之前是灰色。如果该页面是动态生成的，当然可以在服务端构造响应页面输出，控制该按钮是灰色还是点亮，但是为了减轻服务端负载压力，更好地利用CDN、反向代理等性能优化手段，该页面被设计为静态页面，缓存在CDN、反向代理服务器上，甚至用户浏览器上。秒杀开始时，用户刷新页面，请求根本不会到达应用服务器。

解决办法是使用Javascript脚本控制，在秒杀商品静态页面中加入一个JavaScript文件引用，该JavaScript文件中加入秒杀是否开始的标志和下单页面URL的随机数参数，当秒杀开始的时候生成一个新的JavaScript文件并被用户浏览器加载，控制秒杀商品页面的展示。这个JavaScript文件使用随机版本号，并且不被浏览器、CDN和反向代理服务器缓存。

如何只允许第一个提交的订单呗发送到订单子系统

由于最终能够成功秒杀到商品的用户只有一个，因此需要在用户提交订单时，检查是否已经有订单提交。事实上，由于最终能够成狗提交订单的用户只有一个，为了减轻下单页面服务器的负载压力，可以控制进入下单页面的入口，只有少数用户能进入下单页面，其他用户直接进入秒杀结束页面。