
数据库
文章平均质量分 93
凉茶冰
我不想被后浪拍在沙滩上。
展开
-
DataX迁移数据到StarRocks大表报too many version问题记录
这里其实有一个实际实施时候的困难点,业务人员对数仓的特性不了解,了解数仓特性的技术人员对业务不了解,然后基于数仓又开发了更上层的数据中台等应用,让业务人员直接使用,这就造成实际实施的时候,很难讲数仓的威力发挥出来,因为业务人员没办法明确知道那些列或者那些字段作为分桶键效果更好。对于分区一般都有一个基本的认知,基于分区键,将数据进行不同分区的数据路由,分桶是SR独有的概念,在分区下面又有分桶,基于分桶再对数据做二次的分布,并提供副本机制。这样每天凌晨迁移数据的时候,都是只迁移增量的数据。原创 2024-08-06 18:03:43 · 1493 阅读 · 0 评论 -
分库分表以及读写分离总结记录
目录1、为什么分库分表?2、什么是分库,什么是分表?3、分库分表的策略有哪些?3.1 垂直分库3.2 水平分库3.3 垂直分表3.4 水平分表4、分库分表之后有哪些问题和挑战?4.1 数据库事务问题4.2 join联合查询、分页及排序5、什么是读写分离?6、其他记录7、参考文献1、为什么分库分表?当数据量太大,业务太复杂,单表数据非常大超过硬件成本极限的时候,需要考虑分库分表。2、什么是分库,什么是分表?分库理解成将原来的一个库分成多个库,原创 2021-04-28 11:37:18 · 248 阅读 · 0 评论 -
MySQL遇到的ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)
场景说明:安装的MySql版本是5.7.27免安装版本,参考的安装教程戳这里。安装完成之后,也正常启动了,但是通过命令行:mysql -uroot -p 登录的时候,死活都是报:ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061)网上的解决方法试了很多,比如这里,比如这里。这两个博客写的都很好,在一定程度可能能解决这个问题,但是没有解决我的问题,我尝试了都不行,不管怎样都是报上面的错。可以确定几原创 2020-07-22 22:01:14 · 492 阅读 · 0 评论 -
SpringCloud连接mysql插入的时间不正确
SpringCloud版本:Finchley.SR1Mysql版本:5.7.26mysql-connectort-version:8.0.16问题描述:连接和使用mysql都正常,但是使用new Date()插入到数据库中的时间却比实际时间少8个小时,但是使用sql语句里面的now()插入的确实正确的时间。最初猜测是时区的问题,可能是本机jdk的时区和服务器上不同,造成new ...原创 2019-10-14 14:44:39 · 361 阅读 · 1 评论 -
Mysql的等待锁和死锁
问题: 下午因为钉钉服务异常的问题,开发的微应用一直报jsapi鉴权失败,同时查看日志的时候还发现有锁等待的错误日志。报的错误信息为:java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction,这是事物超时报的错,跟踪排查了下,发现原来从待处理消息表中处理消息发送给钉钉接口时,钉钉接口访...原创 2018-08-30 18:05:47 · 3328 阅读 · 1 评论 -
Mysql-left join 遇到的问题记录
问题描述:A表主键为key,A表记录2w条。B表主键为key,B表记录1w条。要求A表和B进行左外链接,查询A表所有记录,在B表没有对应记录的列设为null。很明显使用A left join B就能满足需求但是,问题是:select * from A a left join B b on a.key = b.key;在使用正常的查询的时候发现查询效率很低,需要大约70...原创 2018-11-09 11:37:06 · 1106 阅读 · 2 评论 -
phpMyAdmin导出表结构及数据时的注意
使用phpMyAdmin导出数据库表结构及数据,点击导出,选择导出为SQL,右侧其他的选项不用动,尤其SQL compatibility mode 不要选择,就使用默认的NONE,不要手贱尝试去选择MYSQL,不然,你会发现导出来的sql文件不能用,会报各种问题。仅此记录!!...原创 2018-12-12 18:32:46 · 6139 阅读 · 0 评论 -
数据库事务相关记录
数据库事务的特性 1.原子性 A 事务是不可分割的最小单元,事务内的操作要么全部操作,要么全部不操作,不能只做一部分。 2.一致性 C 事务执行前数据库数据的正确状态要保持到事务执行后,和原子性的操作有异曲同工之妙。 3.隔离性 I 所谓隔离性就是事务之间的隔离性,一个事物内部的操作是不能被其他事物影响,通过事物的隔离界别来完成,没有隔离性就一定会有下面的四...原创 2019-05-23 11:43:06 · 321 阅读 · 0 评论