勇往直前的专栏

最近经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与NewSQL分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。本文通过对两种模式关键特性实现原理对比，希望可以尽可能客观、中立的阐明各自真实的优缺点以及适用场景。NewSQL数据库先进在哪儿？首先关于“中间件+关系数据库分库分表”算不算NewSQL分...

一.分分合合说过很多次，不要拘泥于某一个技术的一点，技术是相通的。重要的是编程思想，思想是最重要的。当数据量大的时候，需要具有分的思想去细化粒度。当数据量太碎片的时候，需要具有合的思想来粗化粒度。1.1 分很多技术都运用了分的编程思想，这里来举几个例子，这些都是分的思想 集中式服务发展到分布式服务 从Collections.synchronizedMap(x)到1....

一.分分合合说过很多次，不要拘泥于某一个技术的一点，技术是相通的。重要的是编程思想，思想是最重要的。当数据量大的时候，需要具有分的思想去细化粒度。当数据量太碎片的时候，需要具有合的思想来粗化粒度。1.1 分很多技术都运用了分的编程思想，这里来举几个例子，这些都是分的思想集中式服务发展到分布式服务从Collections.synchronizedMap(x)到1.7Concurr...

文章转载于：http://www.open-open.com/lib/view/open1455691160276.html 数据库分库分表从互联网时代开启至今，一直是热门话题。在NoSQL横行的今天，关系型数据库凭借其稳定、查询灵活、兼容等特性，仍被大多数公司作为首选数据库。因此，合理采用分库分表技术应对海量数据和高并发对数据库的冲击，是各大互联网公司不可避...

为什么需要研究跨库分页？互联网很多业务都有分页拉取数据的需求，例如：（1）微信消息过多时，拉取第N页消息；（2）京东下单过多时，拉取第N页订单；（3）浏览58同城，查看第N页帖子；这些业务场景对应的消息表，订单表，帖子表分页拉取需求，都有这样一些共同的特点：（1）有个业务主键id,msg_id,order_id,tiezi_id；（2）分页按照非业务主键id来排...

一、前言中大型项目中，一旦遇到数据量比较大，小伙伴应该都知道就应该对数据进行拆分了。有垂直和水平两种。垂直拆分比较简单，也就是本来一个数据库，数据量大之后，从业务角度进行拆分多个库。如下图，独立的拆分出订单库和用户库。水平拆分的概念，是同一个业务数据量大之后，进行水平拆分。上图中订单数据达到了4000万，我们也知道mysql单表存储量推荐是百万级，如果不进行处理，mysql单表...

作者：莫那 鲁道thinkinjava.cn/2019/01/15/2019-01-16-fkfb/让我们从最初开始。1、单体应用每个创业公司基本都是从类似 SSM 和 SSH 这种架构起来的，没什么好讲的，基本每个程序员都经历过。2、RPC 应用当业务越来越大，我们需要对服务进行水平扩容，扩容很简单，只要保证服务是无状态的就可以了，如下图：当业务又越来越大，我...

每个优秀的程序员和架构师都应该掌握分库分表，这是我的观点。移动互联网时代，海量的用户每天产生海量的数据，比如： 用户表 订单表 交易流水表 以支付宝用户为例，8亿；微信用户更是10亿。订单表更夸张，比如美团外卖，每天都是几千万的订单。淘宝的历史订单总量应该百亿，甚至千亿级别，这些海量数据远不是一张表能Hold住的。事实上MySQL单表可以存储10亿级数据，只是...

作者：莫那·鲁道原文：http://thinkinjava.cn/2019/01/fkfb/前言像我这样的菜鸟，总会有各种疑问，刚开始是对 JDK API 的疑问，对 NIO 的疑问，对 JVM 的疑问，当工作几年后，对服务的可用性，可扩展性也有了新的疑问，什么疑问呢？其实是老生常谈的话题：服务的扩容问题。正常情况下的服务演化之路让我们从最初开始。 单体应用 每个创业公...

一分钟系列潜在场景如何？当MySQL单表的数据量过大时，数据库的访问速度会下降，“数据量大”问题的常见解决方案是“水平切分”。MySQL常见的水平切分方案有哪些？（1）分库分表；（2）分区表。画外音：我C，没听过分区表，有朋友惊叹。什么是分库分表？把一个很大的库（表）的数据分到几个库（表）中，每个库（表）的结构都相同，但他们可以分布在不同的MySQL实例，甚至不...

1. 引言我们先来讲一个段子面试官：“有并发的经验没？”应聘者：“有一点。”面试官：“那你们为了处理并发，做了哪些优化？”应聘者：“前后端分离啊，限流啊，分库分表啊。。”面试官:"谈谈分库分表吧？"应聘者：“bala。bala。bala。。”面试官心理活动:这个仁兄讲的怎么这么像网上的博客抄的，容我再问问。面试官:“你们分库分表后，如何部署上线的？”应聘者...

一、背景随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的磁盘、IO、系统开销，甚至性能上的瓶颈，而一台服务的资源终究是有限的，因此需要对数据库和表进行拆分，从而更好的提供数据服务。当用户表达到千万级别，在做很多操作的时候都会很吃力，所以当数据增长到1000万以上就需要分库分表来缓解单库（表）的压力。 二、什么是分库分表[1]简单...

每个优秀的程序员和架构师都应该掌握分库分表，移动互联网时代，海量的用户每天产生海量的数量用户表 订单表 交易流水表以支付宝用户为例，8亿；微信用户更是10亿。订单表更夸张，比如美团外卖，每天都是几千万的订单。淘宝的历史订单总量应该百亿，甚至千亿级别，这些海量数据远不是一张表能Hold住的。事实上MySQL单表可以存储10亿级数据，只是这时候性能比较差，业界公认MySQL单表容量在1KW以...