单表数据量太大,SQL查询慢怎么办?
1.从sql入手
2.从数据库入手
- 加索引(不是越多越好)
- 尽量多考虑使用数值型
- 尽量多考虑使用定长而非变长
- 分库分表
为什么要分库分表?
常用的切分方案
根据其切分规格的类型,可以分为三种切分模式:
A:垂直切分(纵向切分)
按照不同的表(或Schema)来切分到不同的数据库(主机)之上。
B:水平切分(横向切分)
根据表中不同的数据逻辑关系,将同一表中的数据按照某种条件拆分到不同的数据库(主机)上面
C:垂直水平拆分
分库分表的解决方案
mycat分库分表
mycat属于代理级别的方案,是一个数据库中间件,数据库的代理,它屏蔽了物理数据库,应用连接mycat,mycat再连接物理数据库。
特点:
支持水平拆分(分库分比熬,通过分库达到分表)
支持多种分片规则,范围切片,自然月分片,hash取模分片等
支持mysql、orcal、mongodb、sal server,并且支持数据库集群
没有maycat之前:
mycat之后
mycat架构:
mycat核心配置文件:
- server.xml 配置连接mycat的用户名、密码、数据库名
- schma.xml 配置schema、datanode、datahost
- rule.xml 分片规则
mycat常用的分片规则:
枚举分片 范围分片 取模分片 日期分片 取模范围分片 一致性hash分片
冷热数据分片 按月分片
分库分表问题:
垂直拆分带来的问题:
- 部分业务表无法join,只能通过接口方式,提高了系统复杂度
- 存在单表性能瓶颈,不易扩展
- 事务处理复杂
水平拆分带来的问题:
- 拆分规则难以抽象
- 分片事务一致性难以解决
- 维护难度极大
- 跨库join性能差
分库分表拆分原则
- 能不拆分尽量不拆分
- 如果拆分一定要选择的拆分规则,提前规划好
- 数据拆分尽量通过数据冗余或者表分组来降低跨库join的可能
- 跨库join是共同难题,所以业务读取尽量少用多表join
在大型分布式系统中,随着数据量的增多,分布式数据库是大势所趋,MyCat只是提供了一个便捷的工具,但是更重要的在于分库分表的策略,路由的规则,以及有前瞻性的规划。
相关分库分表方案可以参考:https://blog.youkuaiyun.com/u011983531/article/details/78948680
图片来源网络,如有侵权,请联系删除。