Scaling MySQL

[b]一、两种scaling方式[/b]
1，Vertical partitioning，生成的segments称为partitions
2，Horizontal federation，生成的segments称为shards

[b]二、Storage engines[/b]
[b]1，MyISAM[/b]
IBM开发的ISAM(Indexed Sequential Access Method)的扩展，是MySQL默认的storage engine
MyISAM由三个文件组成，.frm文件存储table定义，.MYD文件存储row data，.MYI文件存储索引
MyISAM使用table-level locking，三种lock类型，READ LOCAL、READ、WRITE
MyISAM不支持transaction
MyISAM的一个特性FULLTEXT索引:
[code]
mysql> SELECT * FROM articles WHERE MATCH (title,body)
-> AGAINST ('+foo -"bar baz"' IN BOOLEAN MODE);
[/code]
MyISAM使用R-Tree索引支持GIS(geographical and spatial)

[b]2，InnoDB[/b]
InnoDB完全支持ACID(atomicity, consistency, isolation, durability)
InnoDB支持transaction
InnoDB使用MVCC(Multi-Versioned Concurrency Control)支持row-level locking，concurrency支持很好
InnoDB支持foreign keys
InnoDB使用B-tree和clustered primary keys来存储索引
InnoDB tables中的row data根据primary key排序来存储，按顺序检索速度快

[b]3，Berkeley DB[/b]
BDB数据库由成对的key、value组成，每个row存储为一个唯一的key、value对，按key检索速度快
BDB支持transaction和page-level locking

[b]4，MEMORY[/b]
数据存储在内存中，不会持久化到硬盘
速度快，对临时表非常有用

[b]三、MySQL备份[/b]
MySQL支持replication来帮助我们scale reads
[b]1，Master-Slave Replication[/b]
[code]
Master: Reads and writes
|
| Replication
|
Slave、Slave、Slave... : Reads
[/code]
可以很好的scale read capacity，但是不能scale write capacity

[b]2，Tree Replication[/b]
[code]
Master: Reads and writes
|
| Replication
|
Slave/Master、Slave、Slave... : Reads
|
| Replication
|
Slave、Slave、Slave... : Reads
[/code]
可以将一部分数据备份到Slave/Master中以增加频繁读取部分数据的Reads capacity

[b]3，Master-Master Replication[/b]
[code]
Master: Reads and writes
|
| Replication
|
Master: Reads and writes
[/code]
这种备份方式可以链成环，还可以为每个Master建立Slave以增强Reads capacity

以上各种备份均可能有Replication Lag和Stale read的问题

[b]四、数据库Partitioning[/b]
数据库备份只能增加读性能而不能很好的增加写性能，所以引入数据库Partitioning
有两种方式：纵向(Clustering)和横向(Federation)
[b]1，Clustering[/b]
[code]
Large database with 6 tables
| |
X
Cluster with 2 tables Cluster with 2 tables Cluster with 2 tables
[/code]
缺点是维护困难，同时会增加连接数，这种Partitioning方式的scaling能力有限

[b]2，Federation[/b]
MySQL5的NDB存储引擎尝试在内部实现横向Partitioning而我们不用更改程序逻辑
Oracle的RAC(Real Application Clusters)做同样的事情，只不过价钱太贵，$25,000/processor
SQL Server也有同样的实现，但是除了速度较慢外，你只能用Windows，而且价钱也是高达$30,000/processor
[b]The key to avoiding cross-shard queries is to federate your data in such as way that all the records you need to fetch together reside on the same shard.[/b]
例如，一个页面中需要显示User的Profile和Comments，我们可以将User表与Comments表中相关的数据放在一个shard中
[code]
Application logic
|
|
Federation logic(Middleware)
|
|
Shard Shard Shard
[/code]
当我们知道一个User的ID来查找User的Profile和Comments信息时，我们将User的ID传递给Middleware，Middleware知道去哪里查找User的Profile和Comments数据，然后Middleware来take care返回正确的数据给应用层
应用层不用知道有多少shards、数据在shards之间怎样划分、User数据被赋到哪个shard，一切都是透明的