旁观者（郑昀）

传说中占据整个互联网每秒流量2%、100Gb/s、300K queries/s的 YouPorn，关于它的 HAProxy->Varnish->Nginx->PHP-FPM->Symfony2->Doctrine->HAProxy->Redis，郑昀简要记录几点：2012年2月开始，YouPorn 的主数据库正式切换为 Redis，取代了之前...

郑昀 最后更新于2014/11/11关键词：定时任务、调度、监控报警、Job、crontab、Java本文档适用人员：研发员工 没有JobCenter时我们要面对的：  电商业务链条很长，业务逻辑也较为复杂，需要成百上千种定时任务。窝窝的大多数定时任务其实调用的是本地或远端 Java/PHP/Python Web Service。如果没有一个统一的调...

郑昀 基于刘金鑫文档 最后更新于2014/12/1关键词：recsys、推荐评测、Evaluation of Recommender System、piwik、flume、kafka、storm、redis、mysql本文档适用人员：研发 推荐系统可不仅仅是围着推荐算法打转  先明确一下，我们属于工业领域。很多在学术论文里行之有效的新特奇算法，在工...

郑昀 最后更新于2014/11/12关键词：GoogleDapper、分布式跟踪、鹰眼、Tracing、HBase、HDFS、本文档适用人员：研发分布式系统为什么需要 Tracing？  先介绍一个概念：分布式跟踪，或分布式追踪。  电商平台由数以百计的分布式服务构成，每一个请求路由过来后，会经过多个业务系统并留下足迹，并产生对各种Cache或DB的访...

郑昀 基于朱传志的设计文档 最后更新于2014/11/11关键词：异步消息、订阅者集群、可伸缩、Push模式、Pull模式本文档适用人员：研发 电商系统为什么需要 NotifyServer？  如子柳所说，电商系统『需要两种中间件系统，一种是实时调用的中间件（淘宝的HSF，高性能服务框架）、一种是异步消息通知的中间件（淘宝的Notify）』。那么...

郑昀编著，文字资料来自于张帆、白俊华、刘飞宇以及网络资料 创建于2015/10/21 最后更新于2015/10/29关键词：Docker，容器，持续集成，持续发布，CI，私有云本文档适用人员：广义上的技术人员提纲：集装箱还是卷挂载？Host Networking 还是 Bridge Networking？容器要固定IP吗？容器内部如何获取宿主机的IP？...

郑昀 创建于2015/6/23 最后更新于2015/6/25关键词：Google Dapper、窝窝Tracing、鹰眼、天机、性能、调用链分析、散点图、瀑布图本文档适用人员：技术人员提纲：Google Dapper是怎么做的天机里如何从宏观看到微观0x00，Google Dapper的交互方式    Google 的 Dapper 是淘宝鹰眼...

@郑昀汇总 创建日期：20120925关键词索引：令牌桶算法，漏桶算法背景：防注册机、秒杀器或扫号等常见电商流量过滤技术，一般具有如下要求：1) 高性能。算法简单高效，能对HTTP Requests进行实时在线处理。2) 分类错误率低。尤其是尽量保证不误杀正常顾客访问。3) 鲁棒性强。由于双方攻防的对抗性很强，所以算法必须适应各种类型的攻击情形（包括DDoS攻...

@郑昀汇总 关键词：并发控制防止并发英文关键词：Distributed LockDistributed Lock Manager电商目的：保证整个（分布式）系统内对一个重要事物（订单，账户等）的有效操作线程 ，同一时间内有且只有一个。比如交易中心有N台服务器，订单中心有M台服务器，如何保证一个订单的同一笔支付处理，一个账户的同一笔充值操作是原子性的。 ...

@郑昀汇总与分布式缓存在高并发和高可用下所要解决问题差不多。一.图示： 二.高并发下分布式Session需解决的问题：透明处理存储介质的故障转移动态增删节点，减小“缓存颠簸”问题保证数据在各个节点的分布均衡Session 序列化和反序列化 三.保证“基本可用 Basically Available”的分布式Session方案：...

2012·2汇总Tumblr是世界上最流行的轻博客服务之一，2007年成立。 一，MySQL+Memcached初期，其通知系统是由 MySQL＋Memcached 的传统架构组成。缺点：MySQL负担重，表象就是 MySQL 并发事务数常常达到 InnoDB global transaction 最大值，即只能有1023个并发事务（注：特指 mysql5.0/5....

郑昀 基于李丹和刘奎的文档 创建于2014/12/5关键词：监控、dashboard、PHP、graphite、statsd、whisper、carbon、grafana、influxdb、Python本文档适用人员：研发和运维员工一，监控平台要做到什么程度？为什么要自己做？  运维监控满满都是着各种开源系统以及它们的 Dashboard：Za...