Kida 的躺平小屋

2020-06-10 06:29:15 7f16b2294700 InnoDB: Error: Fetch of persistent statistics requested for table "pm"."pm_daily" but the required system tables mysql.innodb_table_stats and mysql.innodb_index_stats are not present or have unexpected structure. Using t

2024年的第一篇博文先填一下坑，这么长时间没有更新其实最近都在学习人工智能方面的内容，这次重新更新会将自己的一些学习笔记和感悟写一下给各位分享，希望各位能够喜欢

这次主要讲一下我这边关于训练数据的一些数据清洗和提纯的思路，有不够全面的地方请各位指正。

最近在做一些数据整理的工作，外部机构提供的是 jsonl 格式的文件，为了方便开发人员操作需要将其导入到 mysql 中进行进一步清洗和整理，这个时候就用到 LOAD DATA INFILE 这种方式，权当记录一下。

看到这个题目你敢相信自己的眼睛吗？居然有人敢动祖传代码？没错，那个人就是我，而且这次不仅要动而且要调优。

我们通常使用原生的mysql会比较多，mysql的备份也耳熟能详。通常我们意识里会认为能够执行的语句或者脚本也可以通过定时器去执行，但事实究竟如何？

ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - dump address /192.168.100.252:3306 has an error, retrying. caused by com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you

在一次Canal启动的过程中出现了以下CLI错误抛出2019-04-22 18:45:04.182 [destination = example , address = /127.0.0.1:3306 , EventParser] ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - dump address /127.0.0.1:3306 has an error, retrying. caused by java.io.IO

1. 从docker hub中拷贝pull的命令行docker pull mysql:5.6.462. 镜像下载之后先执行一下镜像让其启动Windowsdocker run -p 3506:3306 \-e MYSQL_ROOT_PASSWORD=root \--name mysql5 \-d mysql:5.6.46 \--restart=alwaysLinuxsudo docker run -p 3506:3306 \-e MYSQL_ROOT_PASSWORD=root \

1. 我们先到Docker Hub中找到自己需要的MySQL镜像，一般来说都会选择官方提供的镜像通过复制红框中的内容在PowerShell中粘贴即可下载Docker镜像2. 镜像文件下载完毕后先启动镜像查看后台输出是否正常​Windowsdocker run -p 3806:3306 \-e MYSQL_ROOT_PASSWORD=root \--name mysql8 \-d mysql:8.0 \--restart=alwaysLinuxsudo docker run -p 3

这里说到的“未排重”并不是指没有group by或者没有distinct这么简单的事情，本次的事情是完全没有预料到且让我对UNION和UNION ALL有了一次全新的认识。事原业务人员在生产环境门户中看到其中一个模块的子列表出现重复条目，如下图：分析出现这个情况是在用户登录系统后出现的，这就是说登录后cust_id（企业id）字段存值的情况下在mybatis做了动态语句判断。经过排查代码后发现查询的sql语句如下：SELECT *FROM (SELECT p.pr

1. 启用Federated引擎由于要对远程数据库做外部映射，所以在本地库中需要先开启参数项federated，通过开启Federated引擎来实现数据映射。先通过show engines;查看本地mysql中是否开启了Federated引擎。如上图所示，当前是没有开启Federated引擎的。接下来就需要通过修改配置文件来开启federated引擎。注意：由于使用的是docker镜像的mysql，所以配置文件中需要配置路径的时候一定要写镜像中Linux的路径。在cnf文件中添加“fed

需要优化的sql语句如下：SELECT a.SYS_ID, a.CUST_TYPE, a.CUST_ID, a.CUST_NAME, a.area_info, a.CUST_RAGE, a.INFO_AUTH, a.CUST_STATE, a.LIST_TOP, a.COMMEND, DATE_FORMAT(a.auth_date, '%Y-%m-...