数据库优化三部曲(2)-读写分离-一蓑烟雨任平生

前言

上篇文章介绍了MySql的主从复制,读写分离就不写了,毕竟MySql比Oracle简单太多了(自我感觉),这篇主要写一下Oracle的读写分离,照葫芦画瓢,会了Oracle的读写分离,那么MySql的读写分离不就是张飞吃豆芽?

数据库为什么要读写分离呢?

因为面试的时候当你把数据库优化这块讲的头头是道,什么主从复制,什么读写分离,什么分库分表,都可以滔滔不绝,那么你的工资最少可以+5000块钱啊,哈哈哈,开个玩笑,任何一款软件都要依赖数据库,不然数据从哪里来,所以数据库压力是每个公司都要面对的问题,淘宝双十一,京东618,他们的数据库压力更大,扯远了,回来吧

MyCat和Sharding-jdbc哪个比较好？

今天用的中间件依旧是MyCat,为啥不选用Sharding-jdbc呢?看了知乎那篇文章狗比MyCat,这样MyCat我更不想用了,我还花了5块钱加群想咨询一些bug,谁知道进群后MyCat那群主P都不放,也不帮人解决问题,就是钱钱钱,想挣钱你开源做啥?一个开源项目想方设法吃钱,最后我遇到的所有BUG都是自己解决,Sharding-jdbc虽好,但是需要集成到项目里才可以使用,而我现在只是测试,只想用Navcia看看结果,Sharding-jdbc后期再说吧有空了总结下

废话不多说直接上硬菜

第一步:下载MyCat,上链接MyCat官网

这里不知道下载哪个版本的话,直接百度云下载我的也可以链接： 一蓑烟雨任平生的MyCat

提取码：d8zt下载完直接解压即可

第二步:创建数据库用户

Oracle中数据库的含义貌似等于用户,创一个用户就多一个库,同个服务下,有N个用户,也就是N个数据库

但是在网上找的创建数据库,貌似就是我理解的服务,每次连接Oracle都要输入服务ORAL,所以在这里我创建了一个服务ZHANG,也就是百度上说的数据库,怎么创建呢?自己百度也行,我这里简单的说一下步骤
1.电脑搜索服务 Database Configuration Assistant,然后打开
2.然后点击创建数据库,下一步,全局数据库名就是服务名(全大写)
这里注意下这个root口令是你电脑的口令,如果你忘记,输入错了,可以这么找


这样子就OK了

后面就不说了,傻瓜式安装,下一步,下一步

安装完之后进行用户的创建

先用system登录数据库,或者用sys登录数据库
忘记密码的话,来来来传送门忘记密码

登录之后创建两个用户,这里我创建了xiongda,xionger

create user xiongda identified by 123456 default tablespace test;  

为什么要给表空间权限呢?
------------因为不给的话就无法创建表了
加权限语句

    grant dba to xiongda;--授予DBA权限  
    grant unlimited tablespace to xiongda;--授予不限制的表空间  
    grant select any table to xiongda;--授予查询任何表  
    grant select any dictionary to xiongda;--授予 查询 任何字典 

用户也创建了,权限也给了,然后测试下吧

这是xiongda的账号,测试完美
这是xionger的账号,也测试完美
我们打开胸大,创建一张USERS表,添加两个数据,当然我们熊二也要创建这个表,添加不添加数据都可以,如果你主从复制做过了,xionger就自动生成了USERS表

LOOK OUT:这里注意下,USERS必须全部大写,不然找不到表的bug,这个bug搞了我三小时,哎,前人种树,后人乘凉吧

第三步:修改配置文件

这里如果需要分库分表的话就需要修改三个文件,只需要读写分离的话只用修改两个文件就可以了

直接把三个文件的代码都放出来了,方便复制粘贴

schema.xml

<?xml version="1.0"?> 

<!DOCTYPE mycat:schema SYSTEM "schema.dtd"> 

<mycat:schema xmlns:mycat="http://io.mycat/"> 

  <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">  

  <table name="users" dataNode="dn1" />
       
  </schema>
    <dataNode name="dn1" dataHost="localhost1" database="TESTDB" />

	<!--<dataNode name="dn2" dataHost="localhost2" database="XIONGER" />-->

    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="oracle" dbDriver="jdbc"> 

    <heartbeat>select 1 from dual</heartbeat>

	

    <writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521/zhang" user="xiongda" password="123456" >  

		<readHost host="hostS1" url="jdbc:oracle:thin:@127.0.0.1:1521/zhang" user="xionger" password="123456"></readHost>

    </writeHost> 

  </dataHost> 
  
  
  
  <!--<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="oracle" dbDriver="jdbc"> 

    <heartbeat>select 1 from dual</heartbeat>

	

    <writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521/zhang" user="xionger" password="123456" >  

	  

    </writeHost> 

  </dataHost> -->

</mycat:schema>  

server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
	- you may not use this file except in compliance with the License. - You 
	may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
	- - Unless required by applicable law or agreed to in writing, software - 
	distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
	WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
	License for the specific language governing permissions and - limitations 
	under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
	<system>
	<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
	<property name="ignoreUnknownCommand">0</property><!-- 0遇上没有实现的报文(Unknown command:),就会报错、1为忽略该报文，返回ok报文。
	在某些mysql客户端存在客户端已经登录的时候还会继续发送登录报文,mycat会报错,该设置可以绕过这个错误-->
	<property name="useHandshakeV10">1</property>
    <property name="removeGraveAccent">1</property>
	<property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
	<property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
		<property name="sqlExecuteTimeout">300</property>  <!-- SQL 执行超时 单位:秒-->
		<property name="sequnceHandlerType">1</property>
		<!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
		INSERT INTO `travelrecord` (`id`,user_id) VALUES ('next value for MYCATSEQ_GLOBAL',"xxx");
		-->
		<!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
		<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
	<property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
	<property name="sequenceHanlderClass">io.mycat.route.sequence.handler.HttpIncrSequenceHandler</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
	<!-- <property name="processorBufferChunk">40960</property> -->
	<!-- 
	<property name="processors">1</property> 
	<property name="processorExecutor">32</property> 
	 -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
		<property name="processorBufferPoolType">0</property>
		<!--默认是65535 64K 用于sql解析时最大文本长度 -->
		<!--<property name="maxStringLiteralLength">65535</property>-->
		<!--<property name="sequnceHandlerType">0</property>-->
		<!--<property name="backSocketNoDelay">1</property>-->
		<!--<property name="frontSocketNoDelay">1</property>-->
		<!--<property name="processorExecutor">16</property>-->
		<!--
			<property name="serverPort">8066</property> <property name="managerPort">9066</property> 
			<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
			<property name="dataNodeIdleCheckPeriod">300000</property> 5 * 60 * 1000L; //连接空闲检查
			<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
		<!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
		<property name="handleDistributedTransactions">0</property>
		
			<!--
			off heap for merge/order/group/limit      1开启   0关闭
		-->
		<property name="useOffHeapForMerge">0</property>

		<!--
			单位为m
		-->
        <property name="memoryPageSize">64k</property>

		<!--
			单位为k
		-->
		<property name="spillsFileBufferSize">1k</property>

		<property name="useStreamOutput">0</property>

		<!--
			单位为m
		-->
		<property name="systemReserveMemorySize">384m</property>


		<!--是否采用zookeeper协调切换  -->
		<property name="useZKSwitch">false</property>

		<!-- XA Recovery Log日志路径 -->
		<!--<property name="XARecoveryLogBaseDir">./</property>-->

		<!-- XA Recovery Log日志名称 -->
		<!--<property name="XARecoveryLogBaseName">tmlog</property>-->
		<!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
		<property name="strictTxIsolation">false</property>
		
		<property name="useZKSwitch">true</property>
		<!--如果为0的话,涉及多个DataNode的catlet任务不会跨线程执行-->
		<property name="parallExecute">0</property>
	</system>
	
	<!-- 全局SQL防火墙设置 -->
	<!--白名单可以使用通配符%或着*-->
	<!--例如<host host="127.0.0.*" user="root"/>-->
	<!--例如<host host="127.0.*" user="root"/>-->
	<!--例如<host host="127.*" user="root"/>-->
	<!--例如<host host="1*7.*" user="root"/>-->
	<!--这些配置情况下对于127.0.0.1都能以root账户登录-->
	<!--
	<firewall>
	   <whitehost>
	      <host host="1*7.0.0.*" user="root"/>
	   </whitehost>
       <blacklist check="false">
       </blacklist>
	</firewall>
	-->

	<user name="root" defaultAccount="true">
		<property name="password">123456</property>
		<property name="schemas">TESTDB</property>
		<property name="defaultSchema">TESTDB</property>
		<!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 -->
		
		<!-- 表级 DML 权限设置 -->
		<!-- 		
		<privileges check="false">
			<schema name="TESTDB" dml="0110" >
				<table name="tb01" dml="0000"></table>
				<table name="tb02" dml="1111"></table>
			</schema>
		</privileges>		
		 -->
	</user>

	
</mycat:server>

rule.xml

 <tableRule name="role1">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>

	<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
		<!-- how many data nodes -->
		<property name="count">2</property>
	</function>

第三个文件就是规则,分库分表的话,有很多种方式,我只了解两种,第一种我写的这个规则,两个分片,ABABAB的存,是2的倍数就存A库,不是2的倍数就存B库,这种依赖于自增长ID,第二种是一个库存指定条数,比如A库存满5000条后存B库,以此类推,(第二种未测试),这里只测试下第一种

第四步:测试成果

1.启动MyCat服务

这样子就是成功了,当然中间会有错的时候,但是都是闪退,你也看不到bug原因,log里面也没记载,所以这里我再教你一招,可以让程序不闪退看到错误原因
就在刚才那个要双击的文件里最后一行加一个单词pause
这样子的黑窗口就不会消失的把错误原因告诉你了哈

2.启动成功后,接下来就去数据库测试下SQL
首先登陆MyCat中间件,端口号默认的8066,创建mysql一样的登录方式就可以

然后进行查找用户

select * from USERS;

我说查的xionger的数据库,你肯定会问,两个数据库都有这个表,你怎么就知道肯定是xionger的表数据呢?
看配置文件,我配置的就是查找的时候找xionger的数据,修改的时候改xiongda的数据
然后去增加的时候去增加的xiongda的数据

INSERT into USERS VALUES ('13','5555','77');

这里这个BUG我也不知道改怎么解决,百度说的类型不一样,需要转换,老哥这是数据库操作,不是代码项目操作,怎么转换?但是数据插入进去了
有知道那个bug怎么解决的可以联系我博客,让我改正下,谢谢啦

今天好晚了,我女朋友(拇指姑娘)喊我回家做饭去了,不说了,后会有期