mycat分库分表

mycat分库分表之性能监控

1.安装mysql jdk(参考之前的安装文档)
2.下载mycat

wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

3.解压mycat

tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

4.配置环境变量

在/etc/profile文件中追加以下两行:
export MYCAT_HOME=/usr/local/mycat
export PATH= P A T H : PATH: PATH:MYCAT_HOME/bin
再次执行:source /etc/profile

如有问题扫码关注公众号回得mycat联系作者
在这里插入图片描述

5.配置server.xml
配置说明:
 <!-- 1为开启实时统计、0为关闭 -->
 		<property name="useSqlStat">1</property> 
 <!-- 1为开启全局一致性检测、0为关闭 -->
 		 <property name="useGlobleTableCheck">1</property> 
 <!--  0   使用本地方式作为数据库自增: 需设置 sequence_conf.properties配置文件 -->
<!---  1 使用的是本地数据库的方式,需要在一个分节点创建表和存储过程,其中MYCAT_SEQUENCE必须为大写-->
	<property name="sequnceHandlerType">0</property>
	
	<user name="root">
		<property name="password">root</property>
		<property name="schemas">TESTDB</property>
	</user>

	<user name="user">
		<property name="password">user</property>
		<property name="schemas">TESTDB</property>
		<property name="readOnly">true</property>
	</user>
6.准备真实数据库和表
--在服务器1创建db1  库
--在服务器2创建db1,db2库
--在主库服务器1的db1下面创建users表和role表
--在服务器2的db1下面创建role表 在db2下面创建users表
CREATE TABLE `role` (
  `id` INT(11) NOT NULL AUTO_INCREMENT,
  `name` VARCHAR(20) COLLATE utf8_unicode_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
);
=====================================================================================
CREATE TABLE `users` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) COLLATE utf8_unicode_ci DEFAULT NULL,
  `roleid` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
7.配置schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

	<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
		<!--逻辑库TESTDB下面有role 表分配在dn1数据节点上
逻辑库TESTDB下面有users 表分配在dn1和dn2数据节点上,分片规则=mod-long(取模).主键字段为id -->
		<table name="role" dataNode="dn1"/>
		<table name="users" dataNode="dn1,dn2" rule="mod-long" primaryKey="id" autoIncrement="true" />
		<!-- <table name="oc_call" primaryKey="ID" dataNode="dn1$0-743" rule="latest-month-calldate"
			/> -->
	</schema>
	<!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
		/> -->
		<!-- 
		
	dn1节点的数据在localhost1上的db1库下面
	dn2节点的数据在localhost2上的db2库下面
		-->
	<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost2" database="db2" />
	<!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" />
	 <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" />
	<dataNode	name="jdbc_dn2" dataHost="jdbchost" database="db2" />
	<dataNode name="jdbc_dn3" 	dataHost="jdbchost" database="db3" /> -->

	<!--
	maxCon最大连接,minCon最小连接  dbType为数据库类型 dbDriver为驱动名
1. balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的writeHost上。
2. balance="1",全部的readHost与stand by writeHost参与select语句的负载均衡
3. balance="2",所有读操作都随机的在writeHost、readhost上分发。
4. balance="3",所有读请求随机的分发到wiriterHost对应的readhost执行,writerHost不负担读压力
1. switchType='-1' 表示不自动切换
2. switchType='1' 默认值,表示自动切换
3. switchType='2' 基于MySQL主从同步的状态决定是否切换,心跳语句为 show slave status
4. switchType='3'基于MySQL galary cluster的切换机制(适合集群)(1.4.1),心跳语句为 show status like 'wsrep%'。
Url主机:端口 user用户名 password密码 
Select user()为测试心跳
 -->
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.10.165:3306" user="root"
				   password="root">
			<!-- can have multi read hosts -->
			<!--<readHost host="hostS2" url="192.168.1.200:3306" user="root" password="xxx" />-->
		</writeHost>
		<!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
	</dataHost>
	<dataHost name="localhost2" maxCon="1000" minCon="10" balance="1"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM1" url="192.168.10.141:3306" user="root"
                                   password="root">
                        <!-- can have multi read hosts -->
                        <!--<readHost host="hostS2" url="192.168.1.200:3306" user="root" password="xxx" />-->
                </writeHost>
                <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
        </dataHost>

</mycat:schema>

其他分片规则如下:
在这里插入图片描述

8.启动mycat

进入到mycat/bin目录下 ./mycat start
在这里插入图片描述说明启动成功

9.登录mycat管理端口

–进入管理端口
mysql -h127.0.0.1 -uroot -proot -P9066

–查看是否有默认的逻辑数据库
show databases;
在这里插入图片描述
–查看数据来源
show @@datasource;
在这里插入图片描述

10.登录mycat进行测试
mysql -h127.0.0.1 -uroot -proot -P8066

use TESTDB;
show tables;

insert into users(id,name,roleid)values(next value for MYCATSEQ_GLOBAL,‘张三’,1);执行6次
使用mycat执行select * from users 只有显示6条
在这里插入图片描述
正确结果:
两数据库存分别执行 select * from users
在这里插入图片描述
在这里插入图片描述
--------------------------------------------------分表分库OK

11.常见问题

一.mycat启动不了,
查看:mycat/logs/wrapper.log查看到结果
在这里插入图片描述##### 原因:
该host上部署的服务因数据库帐号配置错误,导致短时间内连接MySQL服务失败次数超过max_connection_errors参数设定值(默认10),从而被拒绝。

解决方法

方法一:
刷新记录报错host的文件
mysqladmin -uroot -p -h192.168.1.1 flush-hosts

mysql>flush hosts;
注意:数据库主从服务器要确定是被哪个MySQL服务拒绝了,刷新对应的服务器即可,不确定的话就都刷新吧。
方法二:
进入数据库将max_connection_errors参数调高,也可以在my.cnf文件中修改不过需要重启MySQL。

mysql>show variables like '%max_connection_errors%';
mysql>set global max_connect_errors = 1000;
mysql>show variables like '%max_connection_errors%'

二.插入数据时报错
在这里插入图片描述 mycat/logs/wrapper.log查看到结果
在这里插入图片描述原因 mod-long分片规则需要三个节点但我们只配置了两个节点需要修改mycat/conf/rule.xml文件把3修改为2
在这里插入图片描述

### MyCAT 分库分表实现与配置教程 #### 1. MyCAT 分库分表的概念 MyCAT 是一款开源的分布式数据库中间件,支持通过逻辑层来管理物理上的多个数据库实例。其核心功能之一就是分库分表,即将数据按照一定的规则分布在不同的数据库或者表中[^1]。 分库分表的主要目的是解决单机数据库性能瓶颈以及存储容量不足的问题。通过对业务数据进行水平拆分,可以显著提升系统的扩展性和并发处理能力。 --- #### 2. 配置文件说明 MyCAT分库分表主要依赖于以下几个重要的配置文件: - **schema.xml**: 定义逻辑数据库、逻辑表及其对应的物理节点。 - **rule.xml**: 定义分片规则,指定如何将数据分配到不同分片上。 - **server.xml**: 配置全局参数,如线程池大小、连接超时时间等。 这些文件通常位于 MyCAT 的 `conf` 目录下[^3]。 --- #### 3. 创建逻辑数据库和逻辑表 在 schema.xml 中定义逻辑数据库和逻辑表。例如: ```xml <schema name="testDB" checkSQLSchema="false" sqlMaxLimit="100"> <table name="payment_info" dataNode="dn1,dn2" rule="auto-sharding-long"/> </schema> <dataNode name="dn1" dataHost="host1" database="db1"/> <dataNode name="dn2" dataHost="host1" database="db2"/> <dataHost name="host1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="localhost" url="jdbc:mysql://192.168.1.1:3306/" user="root" password="password"/> </dataHost> ``` 上述配置表示 `payment_info` 表的数据会根据 `auto-sharding-long` 规则分布到 `db1` 和 `db2` 数据库中[^4]。 --- #### 4. 定义分片规则 分片规则由 rule.xml 文件定义。以下是基于主键范围 (`range-long`) 的分片规则示例: ```xml <tableRule name="auto-sharding-long"> <rule> <columns>id</columns> <algorithm>rang-long</algorithm> </rule> </tableRule> <function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong"> <property name="mapFile">autopartition-long.txt</property> </function> ``` 其中,`autopartition-long.txt` 文件用于映射具体的分片区间。例如: ``` 0=dn1 1000=dn2 ``` 这表明当 `id` 小于 1000 时,数据会被路由到 `dn1`;大于等于 1000 则被路由到 `dn2`。 --- #### 5. 测试分库分表效果 完成以上配置后,可以通过 MySQL 客户端测试分库分表的效果。例如: ```sql -- 登录 MyCAT mysql -umycat -p123456 -h 192.168.110.145 -P 8066 -- 插入数据 INSERT INTO payment_info(order_id, payment_status) VALUES(1, 1); INSERT INTO payment_info(order_id, payment_status) VALUES(1001, 1); -- 查询数据 SELECT * FROM payment_info; ``` 第一条记录应存放在 `db1`,而第二条记录应存放在 `db2`[^2]。 --- #### 6. 注意事项 - 确保各物理节点之间的网络连通性良好。 - 在设计分片规则时需充分考虑查询场景,避免跨分片的复杂关联操作。 - 如果需要修改现有的分库分表策略,则可能涉及数据迁移工作,建议提前规划并做好备份。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值