MySQL大型集群解决方案 Cobar使用说明测试案例

最近好不容易抽空研究了下Cobar，感觉这个产品确实很不错(在文档方面比Amoeba强多了)，特此推荐给大家。Cobar是阿里巴巴研发的关系型数据的分布式处理系统，该产品成功替代了原先基于Oracle的数据存储方案，目前已经接管了3000+个MySQL数据库的schema，平均每天处理近50亿次的SQL执行请求。

首先，使用Cobar的核心功能如下：

分布式：

Cobar的分布式主要是通过将表放入不同的库来实现：

1.

Cobar支持将一张表水平拆分成多份分别放入不同的库来实现表的水平拆分

2. Cobar也支持将不同的表放入不同的库

3.

多数情况下，用户会将以上两种方式混合使用

这里需要强调的是，Cobar不支持将一张表，例如test表拆分成test_1, test_2,

test_3…..放在同一个库中，必须将拆分后的表分别放入不同的库来实现分布式。

HA：

在用户配置了MySQL心跳的情况下，Cobar可以自动向后端连接的MySQL发送心跳，判断MySQL运行状况，一旦运行出现异常，Cobar可以自动切换到备机工作。但需要强调的是：

1.

Cobar的主备切换有两种触发方式，一种是用户手动触发，一种是Cobar的心跳语句检测到异常后自动触发。那么，当心跳检测到主机异常，切换到备机，如果主机恢复了，需要用户手动切回主机工作，Cobar不会在主机恢复时自动切换回主机，除非备机的心跳也返回异常。

2.

Cobar只检查MySQL主备异常，不关心主备之间的数据同步，因此用户需要在使用Cobar之前在MySQL主备上配置双向同步，详情可以参阅MySQL参考手册。

其次，我们也需要注意Cobar的功能约束：

1)

不支持跨库情况下的join、分页、排序、子查询操作。

2) SET语句执行会被忽略，事务和字符集设置除外。

3)

分库情况下，insert语句必须包含拆分字段列名。

4) 分库情况下，update语句不能更新拆分字段的值。

5)

不支持SAVEPOINT操作。

6) 暂时只支持MySQL数据节点。

7)

使用JDBC时，不支持rewriteBatchedStatements=true参数设置(默认为false)。

8)

使用JDBC时，不支持useServerPrepStmts=true参数设置(默认为false)。

9) 使用JDBC时，BLOB, BINARY,

VARBINARY字段不能使用setBlob()或setBinaryStream()方法设置参数。

然后，我们来分析一下Cobar逻辑层次图：

　　*

dataSource：数据源，表示一个具体的数据库连接，与物理存在的数据库schema一一对应。

*

dataNode：数据节点，由主、备数据源，数据源的HA以及连接池共同组成，可以将一个dataNode理解为一个分库。

*

table：表，包括拆分表(如tb1，tb2)和非拆分表。

*

tableRule：路由规则，用于判断SQL语句被路由到具体哪些datanode执行。

*

schema：cobar可以定义包含拆分表的schema(如schema1)，也可以定义无拆分表的schema(如schema2)。

Cobar支持的数据库结构(schema)的层次关系具有较强的灵活性，用户可以将表自由放置不同的datanode，也可将不同的datasource放置在同一MySQL实例上。在实际应用中，我们需要通过配置文件(schema.xml)来定义我们需要的数据库服务器和表的分布策略，这点我们将在后面的安装和配置部分中介绍到。

接着，我们来介绍Cobar的安装和配置步骤：

下面我们将使用一个最简单的分库分表的例子来说明Cobar的基本用法，数据库schema如下图(该实例也可参考：Cobar产品首页)。

　　1)

系统对外提供的数据库名是dbtest,并且其中有两张表tb1和tb2。

2) tb1表的数据被映射到物理数据库dbtest1的tb1上。

3)

tb2表的一部分数据被映射到物理数据库dbtest2的tb2上，另外一部分数据被映射到物理数据库dbtest3的tb2上。

1、环境准备

操作系统：Linux或者Windows

(推荐在Linux环境下运行Cobar)

MySQL：http://www.mysql.com/downloads/ (推荐使用5.1以上版本)

JDK：http://www.oracle.com/technetwork/java/javase/downloads/ (推荐使用1.6以上版本)

Cobar：http://code.alibabatech.com/wiki/display/cobar/release/ (下载tar.gz或者zip文件)

2、数据准备

假设本文MySQL所在服务器IP为192.168.0.1，端口为3306，用户名为test，密码为空，我们需要创建schema:dbtest1、dbtest2、dbtest3，table:tb1、tb2，SQL如下：

#创建dbtest1

drop database if exists dbtest1;

create database dbtest1;

use dbtest1;

#在dbtest1上创建tb1

create table tb1(

id int not null,

gmt datetime);

#创建dbtest2

drop database if exists dbtest2;

create database dbtest2;

use dbtest2;

#在dbtest2上创建tb2

create table tb2(

id int not null,

val varchar(256));

#创建dbtest3

drop database if exists dbtest3;

create database dbtest3;

use dbtest3;

#在dbtest3上创建tb2

create table tb2(

id int not null,

val varchar(256));

3、配置Cobar

Cobar解压之后有四个目录：

bin/：可执行文件目录，包含启动(start)、关闭(shutdown)和重启(restart)脚本

lib/：逻辑类库目录，包含了Cobar所需的jar包

conf/：配置文件目录，下面会详细介绍

logs/：运行日志目录，最主要的log有两个：程序日志(stdout.log)和控制台输出(console.log)

配置文件的用法如下：

log4j.xml：日志配置，一般来说保持默认即可

schema.xml：定义了schema逻辑层次图中的所有元素，并利用这些元素以及rule.xml中定义的规则组建分布式数据库系统

rule.xml：定义了分库分表的规则

server.xml：系统配置文件

我们在schema.xml中配置数据库结构(schema)、数据节点(dataNode)、以及数据源(dataSource)。

dsTest[0]

dsTest[1]

dsTest[2]

192.168.0.1:3306/dbtest1

192.168.0.1:3306/dbtest2

192.168.0.1:3306/dbtest3

test

test

STRICT_TRANS_TABLES

我们注意到，上述配置实际上已经把图2中的数据库结构配置好了。dbtest主要映射的是dnTest1库(即192.168.0.1:3306/dbtest1库)，而其中的tb2表则是按照规则rule1，被分配到dnTest2库(即192.168.0.1:3306/dbtest2库)和dnTest3库(即192.168.0.1:3306/dbtest3库)中。此外，规则rule1的定义可以在rule.xml中找到，代码如下：

id

2

512

结合schema.xml中的内容，我们可以看出分表的规则是，按照id字段把tb2表中的数据分配到dnTest2和dnTest3两个分区中，其中id小于512的数据会被放到dnTest2库的分区中，而其余的会被放到dnTest3库的分区中，更多路由算法可以参考《路由文档》。最后，我们来看一下server.xml的配置，代码如下。

passwd

dbtest

这里的server.xml配置比较简单，只配置了本地Cobar服务的数据库结构、用户名和密码。在启动Cobar服务之后，使用用户名root和密码passwd就可以登录Cobar服务。

4、运行Cobar

启动Cobar服务很简单，运用bin目录下的start.sh即可(停止使用shutdown.sh)。启动成功之后，可以在logs目录下的stdout.log中看到如下日志：

10:54:19,264 INFO =============================================== 10:54:19,265 INFO Cobar is ready to startup … 10:54:19,265 INFO Startup processors … 10:54:19,443 INFO Startup connector … 10:54:19,446 INFO Initialize dataNodes … 10:54:19,470 INFO dnTest1:0 init success 10:54:19,472 INFO dnTest3:0 init success 10:54:19,473 INFO dnTest2:0 init success 10:54:19,481 INFO CobarManager is started


【转载自：www.iHk-system.com|寻访诸神的网站】