勇往直前的专栏

造梦者 | 王树彬，阿里巴巴闲鱼架构负责人2014年6月28日，阿里即将赴美上市的这一年，西溪园区的一个茶水间里，28个人日夜赶工了三个月后，上线了一个闲置交易平台——闲鱼。今年5月份，在阿里巴巴的年报中对外公布了闲鱼的数据：GMV2000亿元，同比增长100%，每天在线卖家数超过3000万人。闲鱼已经从一个茶水间创业的内部小产品，变成了在C2C领域的领先平台。据艾媒数据估计，2020年全年的二手物品交易市场的规模将达到万亿以上。线上交易的繁荣亟需技术架构做相应的调整、演进才能支撑业务的快速发展。.

有一类业务场景：（1）超高吞吐量，每秒要处理海量请求；（2）写多读少，大部分请求是对数据进行修改，少部分请求对数据进行读取；这类业务，有什么实现技巧么？接下来，一起听我从案例入手，娓娓道来。快狗打车，场景举例：（1）司机地理位置信息会随时变化，可能每几秒钟地理位置要修改一次；（2）用户打车的时候查看某个司机的地理位置，查询地理位置的频率相对较低；这里要用到两个接口：（1）大量修改司机信息：void SetDriverInfo(long driver_id, Drive

背景引入首先，我们一起来看看这个问题的背景？前段时间有个朋友在外面面试，然后有一天找我聊说：有一个国内不错的电商公司，面试官给他出了一个场景题：假如下单时，用分布式锁来防止库存超卖，但是是每秒上千订单的高并发场景，如何对分布式锁进行高并发优化来应对这个场景？他说他当时没答上来，因为没做过没什么思路。其实我当时听到这个面试题心里也觉得有点意思，因为如果是我来面试候选人的话，应该会给的范围更大一些。比如让面试的同学聊一聊电商高并发秒杀场景下的库存超卖解决方案，各种方案的优缺点以及实践，进而聊

来源：33h.co/dVMB如何确保一个方法，或者一块代码在高并发情况下，同一时间只能被一个线程执行，单体应用可以使用并发处理相关的 API 进行控制，但单体应用架构演变为分布式微服务架构后，跨进程的实例部署，显然就没办法通过应用层锁的机制来控制并发了。那么锁都有哪些类型，为什么要使用锁，锁的使用场景有哪些？今天我们来聊一聊高并发场景下锁的使用技巧。锁类别不同的应用场景对锁的要求各不相同，我们先来看下锁都有哪些类别，这些锁之间有什么区别。 悲观锁(synchronize) .

高并发，几乎是每个程序员都想拥有的经验。原因很简单：随着流量变大，会遇到各种各样的技术问题，比如接口响应超时、CPU load升高、GC频繁、死锁、大数据量存储等等，这些问题能推动我们在技术深度上不断精进。在过往的面试中，如果候选人做过高并发的项目，我通常会让对方谈谈对于高并发的理解，但是能系统性地回答好此问题的人并不多，大概分成这样几类：1、对数据化的指标没有概念：不清楚选择什么样的指标来衡量高并发系统？分不清并发量和QPS，甚至不知道自己系统的总用户量、活跃用户量，平峰和高峰时的QPS和TPS等

对于线上系统调优，它本身是个技术活，不仅需要很强的技术实战能力，很强的问题定位，问题识别，问题排查能力，还需要很丰富的调优能力。本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程。一、项目简要情况概述该项目为基于SSM架构的商城类单体架构项目，其中有一个秒杀重磅模块，如下为当前线上环境的简要架构部署图，大致描述一下：(1)项目为SSM架构(2)服务器类别：1台负载均.

高并发，几乎是每个程序员都想拥有的经验。原因很简单：随着流量变大，会遇到各种各样的技术问题，比如接口响应超时、CPU load升高、GC频繁、死锁、大数据量存储等等，这些问题能推动我们在技术深度上不断精进。在过往的面试中，如果候选人做过高并发的项目，我通常会让对方谈谈对于高并发的理解，但是能系统性地回答好此问题的人并不多，大概分成这样几类：1、对数据化的指标没有概念：不清楚选择什么样的指标来衡量高并发系统？分不清并发量和QPS，甚至不知道自己系统的总用户量、活跃用户量，平峰和高峰时的QPS和TPS等

“高并发，几乎是每个程序员都想拥有的经验。原因很简单：随着流量变大，会遇到各种各样的技术问题。图片来自 Pexels比如接口响应超时、CPU load 升高、GC 频繁、死锁、大数据量存储等等，这些问题能推动我们在技术深度上不断精进。在过往的面试中，如果候选人做过高并发的项目，我通常会让对方谈谈对于高并发的理解。但是能系统性地回答好此问题的人并不多，大概分成这样几类： 对数据化的指标没有概念：不清楚选择什么样的指标来衡量高并发系统？分不清并发量和 QPS，甚至不知道自己系统的总用户量、.

作者：田杰，阿里云数据库高级运维专家在数据库的日常使用中，来自应用的高并发场景并不罕见，其标志性的表现为高新连接创建速率（CPS，比如 PHP 短连接）、发送大量请求到 DB 数据库层。如同海啸，大量的新建连接和请求猛烈的冲击考验着 DB 层的处理能力，非常容易出现数据库被冲击 hang 住或响应极其缓慢的情况（想象下无预知无缓冲的短时间内突然工作量翻涨数倍，会不会立时被忙哭了 ^_^）。而数据库通常作为架构最下端的数据存取汇聚单元，其性能表现和稳定性往往决定了应用的最终表现和使用体验，...

设计背景对于苏宁易购主站而言，正常的用户购物流程囊括选品、下单、库存扣减、付款、订单状态更新、物流履约等。但是在电商业务中往往会涉及到对某些热点商品的秒杀场景。相比于正常购物流程，秒杀场景具有时效性高、并发量大、瞬时业务量极高的业务特性，往往会出现显著的分布式一致性问题。正常的业务系统不能很好地应对瞬时高并发的业务需求，因此就需要针对于秒杀场景进行相应的架构优化，抑或是设计专门用于秒杀的中台业...

“这篇文章，我们来聊一下对于一个支撑日活百万用户的高并系统，他的数据库架构应该如何设计？看到这个题目，很多人第一反应就是：分库分表啊！但是实际上，数据库层面的分库分表到底是用来干什么的，他的不同的作用如何应对不同的场景，我觉得很多同学可能都没搞清楚。（1）用一个创业公司的发展作为背景引入假如我们现在是一个小创业公司，注册用户就20万，每天活跃用户就1万，每天单表数据量就1...

在并发编程过程中，我们大部分的焦点都放在如何控制共享变量的访问控制上（代码层面），但是很少人会关注系统硬件及 JVM 底层相关的影响因素。前段时间学习了一个牛X的高性能异步处理框架 Disruptor，它被誉为“最快的消息框架”，其 LMAX 架构能够在一个线程里每秒处理 6百万 订单！在讲到 Disruptor 为什么这么快时，接触到了一个概念——伪共享( false sharing )，其中提...

12306抢票,极限并发带来的思考?每到节假日期间,一二线城市返乡、外出游玩的人们几乎都面临着一个问题：抢火车票!虽然现在大多数情况下都能订到票,但是放票瞬间即无票的场景，相信大家都深有体会。尤其是春节期间，大家不仅使用12306，还会考虑“智行”和其他的抢票软件,全国上下几亿人在这段时间都在抢票。“12306服务”承受着这个世界上任何秒杀系统都无法超越的QPS,上百万的并发再正常不过了！笔者...

1. 前言前几天，偶然看到了 《扛住100亿次请求——如何做一个“有把握”的春晚红包系统”》（url）一文，看完以后，感慨良多，收益很多。正所谓他山之石，可以攻玉，虽然此文发表于2015年,我看到时已经是2016年末，但是其中的思想仍然是可以为很多后端设计借鉴，。同时作为一个工程师，看完以后又会思考，学习了这样的文章以后，是否能给自己的工作带来一些实际的经验呢？所谓纸上得来终觉浅，绝知此事要躬...

“世间可称之为天经地义的事情没几样，复杂的互联网架构也是如此，万丈高楼平地起，架构都是演变而来，那么演变的本质是什么？”—1—引子 软件复杂性来源于几个方面：高并发、高性能、高可用、可扩展、低成本、低规模、可维护、安全等。架构演化、发展都是为了试图降低复杂性： 高并发、高性能：互联网系统特点，用户量大，请求量大，高并发高性能成为必备要求。性能差体验会差，用户会有别的选...

一、背景我们实际系统中有很多操作，是不管做多少次，都应该产生一样的效果或返回一样的结果。例如： 前端重复提交选中的数据，应该后台只产生对应这个数据的一个反应结果。 我们发起一笔付款请求，应该只扣用户账户一次钱，当遇到网络重发或系统bug重发，也应该只扣一次钱； 发送消息，也应该只发一次，同样的短信发给用户，用户会哭的； 创建业务订单，一次业务请求只能创建...

什么是服务器并发处理能力？一台服务器在单位时间里能处理的请求越多，服务器的能力越高，也就是服务器并发处理能力越强。服务器的本质工作就是，争取以最快的速度将内核缓冲区中的用户请求数据一个不剩地都拿出来，然后尽快处理，再将响应数据放到一块又能够与发送数据的缓冲区中，接着处理下一拨请求。有什么方法衡量服务器并发处理能力？一、吞吐率量化指标：吞吐率，单位时间里服务器处理的最大请求数，单...

作者：绘你一世倾https://juejin.im/post/5d84e21f6fb9a06ac824814每到节假日期间，一二线城市返乡、外出游玩的人们几乎都面临着一个问题：抢火车票12306 抢票，极限并发带来的思考虽然现在大多数情况下都能订到票，但是放票瞬间即无票的场景，相信大家都深有体会。尤其是春节期间，大家不仅使用 12306，还会考虑“智行”和其他的抢票软件...

来源：http://t.cn/ES7KBkW本文将从负载测试的角度，描述了做一次流畅的5万用户并发测试需要做的事情.你可以在本文的结尾部分看到讨论的记录.快速的步骤概要 编写你的脚本 使用JMeter进行本地测试 BlazeMeter沙箱测试 使用一个控制台和一个引擎设置Users-per-Engine的数量 设置并测试你的集合 (1个...

高并发是指在同一个时间点，有很多用户同时的访问URL地址，比如：淘宝的双11，双12，就会产生高并发,如贴吧的爆吧，就是恶意的高并发请求，也就是DDOS攻击，再屌丝点的说法就像玩撸啊撸被ADC暴击了一样,那伤害你懂得(如果你看懂了，这个说法说明是正在奔向人生巅峰的屌丝。高并发会来带的后果服务端： 导致站点服务器/DB服务器资源被占满崩溃，数据的存储和更新结果和理想的设计是不一样的，比如：...

00 前言高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总结，作为自己的归档记录，同时分享给大家。...

一、分层，分割，分布式大型网站要很好地支撑高并发，需要长期的规划设计。在初期，需要把系统进行分层，在发展过程中把核心业务进行拆分成模块单元，根据需求进行分布式部署，可以进行独立团队维护开发。分层： 将系统在横向维度上切分成几个部分，每个部门负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。 比如把电商系统分成：应用层，服务层，数据层。(具...

1、分层分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。在网站的分层架构中，常见的为3层，即应用层、服务层、数据层。应用层具体负责业务和视图的展示；服务层为应用层提供服务支持；数据库提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等。分层架构是逻辑上的，在物理部...

前言在一个高并发系统中对流量的把控是非常重要的，当巨大的流量直接请求到我们的服务器上没多久就可能造成接口不可用，不处理的话甚至会造成整个应用不可用。比如最近就有个这样的需求，我作为客户端要向 kafka生产数据，而 kafka的消费者则再源源不断的消费数据，并将消费的数据全部请求到 web服务器，虽说做了负载(有4台 web服务器)但业务数据的量也是巨大的，每秒钟可能有上万条数据产生。...

前言本文接着上文应用限流进行讨论。之前谈到的限流方案只能针对于单个 JVM 有效，也就是单机应用。而对于现在普遍的分布式应用也得有一个分布式限流的方案。基于此尝试写了这个组件：https://github.com/crossoverJie/distributed-redis-tool DEMO以下采用的是https://github.com/crossoverJie...

来源：cnblogs.com/GodHeng/p/8834810.html随着互联网的发展，各项软件的客户量日益增多，当客户量达到一定峰值时，当数以万计的流量来临时，程序的顺利运行以及即时响应则显得尤为重要，就像双11那天的淘宝一样。那么，如何设计架构才能够抗住这千万级的流量。 老板让你抗住千万级流量，如何做架构设计？首先，要在我们架构设计的时候建立一些原则。1. 实现...

前言在实际项目中，曾经遭遇过线上5W+QPS的峰值，也在压测状态下经历过10W+QPS的大流量请求，本篇博客的话题主要就是自己对高并发流量控制的一点思考。 应对大流量的一些思路首先，我们来说一下什么是大流量？大流量，我们很可能会冒出：TPS（每秒事务量），QPS（每秒请求量），1W+，5W+，10W+，100W+...。其实并没有一个绝对的数字，如果这个量造成了系统的压力，影...

前言高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总结，作为自己的归档记录，同时分享给大家。 服务...

夏庆峰：逆向流程技术专家，疑难杂症的终结者，2014年加入京东，负责京东财务退款及价格保护研发建设，擅长京东逆向流程场景、金额拆分计算、高并发下网站优化。 京东618期间，各种促销活动，用户下单量激增，促销活动所产生的价格波动频繁，为了保障用户权益，拒绝站在价格的高岗上，京东推出了特色服务——价格保护。当促销活动正式开始时，不少用户开启了价格保护，在此高并发情况下，如何保证用户体验，如...

高并发也算是这几年的热门词汇了，尤其在互联网圈，开口不聊个高并发问题，都不好意思出门。高并发有那么邪乎吗？动不动就千万并发、亿级流量，听上去的确挺吓人。但仔细想想，这么大的并发与流量不都是通过路由器来的吗？>>>>0x00 一切源自网卡高并发的流量通过低调的路由器进入我们系统，第一道关卡就是网卡，网卡怎么抗住高并发？这个问题压根就不存在，千万并发在网卡看来，一样...

我们先来谈下幂等的概念抽象概念幂等（idempotent、idempotence）是一个数学与计算机学概念，常见于抽象代数中。在编程中，一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。例如，“getUsername()和se...

什么是高并发？高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。高并发相关的常见指标有哪些？ 响应时间（Response Time） 吞吐量（Throughput） 每秒查询率QPS（Query Per Second） 并发用户数 什么是响应时间？系统对...

最近在看 UNIX 网络编程并研究了一下 Redis 的实现，感觉 Redis 的源代码十分适合阅读和分析，其中 I/O 多路复用（mutiplexing）部分的实现非常干净和优雅，在这里想对这部分的内容进行简单的整理。几种 I/O 模型为什么 Redis 中要使用 I/O 多路复用这种技术呢？首先，Redis 是跑在单线程中的，所有的操作都是按照顺序线性执行的，但是由于读写操作等...

肥朝| 作者转载自「肥朝」公众号本篇主要讲解的是前阵子的一个压测问题.那么就直接开门见山可能有的朋友不并不知道forceTransactionTemplate这个是干嘛的,首先这里先普及一下,在Java中,我们一般开启事务就有三种方式 XML中根据service及方法名配置切面,来开启事务(前几年用的频率较高,现在基本很少用) @Transactional注解...

作者 | 中华石杉责编 | 伍杏玲很多人面试的时候被问到一个让人特别手足无措的问题：你的系统如何支撑高并发？大多数同学被问到这个问题压根儿没什么思路去回答，不知道从什么地方说起，其实本质就是没经历过一些真正有高并发系统的锤炼罢了。因为没有过相关的项目经历，所以就没法从真实的自身体会和经验中提炼出一套回答，然后系统地阐述出来自己复杂过的系统如何支撑高并发的。所以，这篇文章就从...

Synchronized 是 Java 中解决并发问题的一种最常用的方法，也是最简单的一种方法。本文作者将全面剖析 Synchronized 的底层原理。Synchronized 的基本使用Synchronized 的作用主要有三个： 确保线程互斥的访问同步代码 保证共享变量的修改能够及时可见 有效解决重排序问题 从语法上讲，Synchronized ...

来源：http://t.cn/Ai98XycJ1. 概述本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。2. 基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍： 分布式 系统中的多...

本文从设计及服务可用性方面，详细解析了微博短视频高可用、高并发架构设计中的问题与解决方案。作者：刘志勇，本文来自新浪微博视频平台资深架构师刘志勇在 LiveVideoStackCon 2018 讲师热身分享，并由 LiveVideoStack 整理而成。今天与大家分享的是微博短视频业务的高并发架构，具体内容分为如下三个方面： 团队介绍 微博视频业务场景 “微博...

一、关于高并发高并发是指在同一个时间点，有很多用户同时访问URL地址，比如：淘宝的双11、双12，就会产生高并发。又如贴吧的爆吧，就是恶意的高并发请求，也就是DDOS攻击，再屌丝点的说法就像玩LOL被ADC暴击了一样，那伤害你懂的。 1 高并发会来带的后果 服务端：导致站点服务器/DB服务器资源被占满崩溃，数据的存储和更新结果和理想的设计是不一样的，比如：出现重复的数据记录，多次...