数据库切片

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.youkuaiyun.com/xingzhishen/article/details/80165293

一、  概述

随着业务的扩大,数据量呈指数级增长。对于一些不便使用nosql的场景,关系型数据库难以满足快速查询和插入数据的需求。这就需要做数据库集群,将一个数据库中的数据分散到不同的数据库存储,这种分散数据库负载的技术是数据库分片。

数据的切分,根据切分规则的类型,可以分为两种切分模式。一种是按照不同的表来切分到不同的数据库,这种称为垂直切分或纵向切分。另一种是根据表中数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库机上面,这种称为水平切分或横向切分。

二、  mycat

实现数据库分片涉及到查询数据库时查哪个库,插入数据时插入哪个库等麻烦的问题。使用mycat可以解决相关的问题。

mycat基于阿里的cobar。cobar擅长mysql数据库分片。mycat对cobar进行了重构,使用NIO重构了网络模块,优化了buffer内核,增强了聚合,join等基本特性,兼容大多数数据库。mycat,作为数据库中间件,支持mysql集群或者mariadb集群,提供高可用性数据分片集群,在使用上几乎与mysql无异。

mycat通过定义表的分片规则来实现分片,每个表格可以捆绑一个分片规则,每个分片规则指定一个分片字段并绑定一个函数,来实现动态分片算法。

三、  mycat的安装

要求jdk1.7以上,mysql5.5以上。官网下载mycal,有windows版和linux版的,装法基本相同。

linux安装,将压缩包解压到/usr/local下。在bin目录下,./mycat  start,后台启动。mycat默认端口是8066。

四、  mycat的分片

创建三个数据库节点,分别创建数据库db1,db2,db3,将mycat安装到节点1上。

配置mycat的conf中的schema.xml文件。

在配置文件中,schema用于定义mycat实例中的逻辑库;table定义了mycat中的逻辑表;datanode定义了mycat中的数据节点,也就是数据分片;datahost在mycat逻辑库中也是作为最底层的标签,指定定义了具体的数据库实例、读写分离配置和心跳语句。

在linux版本的mysql中,需要配置mysql为大小写不敏感,否则发生表找不到的问题。在mysql配置文件/etc/my.cnf[mysqld]中增加一行lower_case_table_names=1。

配置schema.xml,注意配置所有节点数据库的远程访问授权。

<?xmlversion="1.0"?>

<!DOCTYPEmycat:schema SYSTEM "schema.dtd">

<mycat:schemaxmlns:mycat="http://org.opencloudb/">

 

        <schema name="e3shop"checkSQLschema="false" sqlMaxLimit="100">

                <!-- auto sharding by id(long) -->

                <table name="tb_item"dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

        </schema>

        <dataNode name="dn1"dataHost="localhost1" database="db1" />

        <dataNode name="dn2"dataHost="localhost1" database="db2" />

        <dataNode name="dn3"dataHost="localhost2" database="db3" />

        <dataHostname="localhost1" maxCon="1000" minCon="10"balance="0"

                writeType="0"dbType="mysql" dbDriver="native"switchType="1" slaveThreshold="100">

                <heartbeat>select user()</heartbeat>

                <!-- can have multi writehosts -->

                <writeHosthost="hostM1" url="192.168.0.121:3306"user="root"

                       password="123456">

                        <!-- can have multiread hosts -->

 

                </writeHost>

        </dataHost>

         <dataHostname="localhost2" maxCon="1000" minCon="10"balance="0"

                writeType="0"dbType="mysql" dbDriver="native"switchType="1" slaveThreshold="100">

                <heartbeat>select user()</heartbeat>

                <!-- can have multi writehosts -->

                <writeHosthost="hostM1" url="192.168.0.102:3306"user="root"

                       password="123456">

                        <!-- can have multiread hosts -->

 

                </writeHost>

        </dataHost>

</mycat:schema>

配置server.xml

<?xmlversion="1.0" encoding="UTF-8"?>

<!-- - - Licensedunder the Apache License, Version 2.0 (the "License");

        - you may not use this file except incompliance with the License. - You

        may obtain a copy of the License at - -http://www.apache.org/licenses/LICENSE-2.0

        - - Unless required by applicable lawor agreed to in writing, software -

        distributed under the License isdistributed on an "AS IS" BASIS, - WITHOUT

        WARRANTIES OR CONDITIONS OF ANY KIND,either express or implied. - See the

        License for the specific languagegoverning permissions and - limitations

        under the License. -->

<!DOCTYPEmycat:server SYSTEM "server.dtd">

<mycat:serverxmlns:mycat="http://org.opencloudb/">

        <system>

        <propertyname="defaultSqlParser">druidparser</property>

      <!-- <property name="useCompression">1</property>--><!--1为开启mysql压缩协议-->

        <!-- <propertyname="processorBufferChunk">40960</property> -->

        <!--

        <propertyname="processors">1</property>

        <propertyname="processorExecutor">32</property>

         -->

                <!--默认是65535 64K 用于sql解析时最大文本长度 -->

                <!--<propertyname="maxStringLiteralLength">65535</property>-->

                <!--<propertyname="sequnceHandlerType">0</property>-->

                <!--<propertyname="backSocketNoDelay">1</property>-->

                <!--<propertyname="frontSocketNoDelay">1</property>-->

                <!--<propertyname="processorExecutor">16</property>-->

                <!--

                        <property name="mutiNodeLimitType">1</property>0:开启小数量级(默认) ;1:开启亿级数据排序

                <propertyname="mutiNodePatchSize">100</property> 亿级数量排序批量

                        <propertyname="processors">32</property> <propertyname="processorExecutor">32</property>

                        <propertyname="serverPort">8066</property> <propertyname="managerPort">9066</property>

                        <propertyname="idleTimeout">300000</property> <propertyname="bindIp">0.0.0.0</property>

                        <property name="frontWriteQueueSize">4096</property><property name="processors">32</property> -->

        </system>

        <user name="user">

                <propertyname="password">user</property>

                <propertyname="schemas">e3shop</property>

        </user>

</mycat:server>

重启mycat。

连接mycat,mysql  -h  192.168.0.121  -P  8066 -u  user  –p

测试,进入mycat客户端,创建schema中定义的表,插入一定量的数据。mycat中根据id的长度的规则,每个数据库放500万条数据,当id的值在500万以及以内时放在db1,500万以上以及1000万及以内时放在db2,1000万以上放在db3。

五、  mycat读写分离

大型系统或者高访问量的互联网应用,需要配置数据库读写分离。mysql中,标准的读写分离是主从模式,一个写节点master后面跟着多个读节点,读节点的数量取决于系统的压力,一般是1-3个读节点。mycat的读写分离和自动切换机制,需要mysql的主从复制的配合。

1.         mysql主从配置

mysql主从配置需要注意的问题。主dbserver和从dbserver的数据库版本一致;主dbserver和从dbserver的数据库名称一致;主dbserver开启binlog二进制日志,主dbserver和从dbserver的server_id必须唯一,一般在同一网段中使用ip地址末节点数作为id,不会重复的。

mysql主服务器配置。

第一步,修改my.cnf文件。在[mysqld]中添加。

binlog-do-db=db1

binlog-ignore-db=mysql

#启用二进制日志

log-bin=mysql-bin

#服务器唯一ip,一般取ip最后一段

server_id=78

第二步,重启mysql服务。

第三步,建立账户并授权slave。供从服务器访问。

GRANT FILE  ON  *.* TO  'tom'  @'%' IDENTIFIED  BY  '1234';

GRANT REPLICATION  SLAVE,REPLICATION  CLIENT ON  *.*  to 'tom'  @'%'  identified by  '1234';刷新权限,FLUSH  PRIVILEGES;

select  User,Host from  mysql.user;查看mysql现在拥有的用户。

第四步,查询master的状态,mysql>show  master  status \G;

mysql从服务器配置。

第一步,修改my.cnf文件,在[mysqld]中添加server_id=121。

第二步,配置从服务器。

mysql>change  master to  master_host='39.105.79.78',master_port=3306,master_user='tom',master_password='1234',master_log_file='mysql-bin.000008',master_log_pos=107;

其中master_log_file='mysql-bin.000008',master_log_pos=107,是在主服务器中使用show  master status查到的信息。

修改主服务器配置的方式

CHANGE MASTER TOMASTER_LOG_FILE='mysql-bin.000014',MASTER_LOG_POS=120;

第三步,启动从服务器复制功能。mysql>start  slave;

第四步,检查从服务器复制功能状态。mysql>show  slave status  \G;注意,Slave_IO以及Slave_SQL进程必须正常进行,即为YES。

出现Fatal error: The slaveI/O thread stops because master and slave have equal MySQL server ids; theseids must be different for replication to work (or the--replicate-same-server-id option must be used on slave but this does notalways make sense; please check the manual before using it).的错误的原因可能是mysql的虚拟机系统是克隆的,所以mysql的uuid是一样,解决方法是删除/var/lib/mysql/auto.cnf文件,重新启动服务。

测试主从复制,向主服务器添加一天记录,查看从服务器对应的库中是否添加成功。

2.         mycat读写分离

在schema.xml中配置

<?xmlversion="1.0"?>

<!DOCTYPEmycat:schema SYSTEM "schema.dtd">

<mycat:schemaxmlns:mycat="http://org.opencloudb/">

 

        <schema name="e3shop"checkSQLschema="false" sqlMaxLimit="100">

                <!-- auto sharding by id(long) -->

                <tablename="tb_item" dataNode="dn1,dn2,dn3"rule="auto-sharding-long" />

        </schema>

        <dataNode name="dn1"dataHost="localhost1" database="db1" />

        <dataNode name="dn2"dataHost="localhost1" database="db2" />

        <dataNode name="dn3"dataHost="localhost2" database="db3" />

        <dataHostname="localhost1" maxCon="1000" minCon="10" balance="1"

                writeType="0"dbType="mysql" dbDriver="native"switchType="2" slaveThreshold="100">

                <!-- <heartbeat>selectuser()</heartbeat> -->

                <heartbeat>show slavestatus</heartbeat>

                <!-- can have multi writehosts -->

                <writeHosthost="hostM1" url="39.105.79.78:3306" user="root"

                       password="1234">

                        <!-- can have multiread hosts -->

                        <readHosthost="hosts" url="192.168.0.121:3306" user="root"password="1234" />

                </writeHost>

        </dataHost>

        <dataHostname="localhost2" maxCon="1000" minCon="10"balance="0"

                writeType="0"dbType="mysql" dbDriver="native"switchType="1"  slaveThreshold="100">

                <heartbeat>selectuser()</heartbeat>

                <!-- can have multi writehosts -->

                <writeHosthost="hostM1" url="192.168.0.102:3306"user="root"

                       password="1234">

                        <!-- can have multiread hosts -->

 

                </writeHost>

        </dataHost>

</mycat:schema>

balance和writeType的值

balance的参数,0,所有读操作都发送到当前可用的writeHost上;1,所有读操作都随机的发送到readHost上;2,所有读操作都随机发送到writeHost、readHost上。

writeType的参数,0,所有写操作都发送到可用的writeHost上;1,所有写操作到随机的发送到readHost上;2,所有写操作都随机的向writeHost和readHost上发送。

switchType的参数,-1,表示不自动切换;1,默认值,自动切换;2,基于mysql主从同步的状态决定是否切换。

启动mycat,会自动启动读写分离。测试。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值