系统上线前,SQL脚本的9大坑

原来工作流用起来这么清爽(芋道源码yudao-cloud 二开笔记) 最近在使用芋道源码yudao-cloud开发一个系统,刚好需要使用工作流来实现审批和驳回的业务。 需求是实现一个公司绩效评分功能。员工自己填写每个月的绩效,填好后提交给领导审批。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:苏三说技术


81ef6d346d36a7881945ae6ee80a22aa.png

前言

系统上线时,非常容易出问题。

即使之前在测试环境,已经执行过SQL脚本了。但是有时候,在系统上线时,在生产环境执行相同的SQL脚本,还是有可能出现一些问题。

有些小公司,SQL脚本是开发自己执行的,有很大的风险。

有些大厂,有专业的DBA把关,但DBA也不是万能的,还是有可能会让一些错误的SQL脚本被生产环境执行了,比如:update语句的顺序不对。

今天跟大家一起聊聊,系统上线时SQL脚本的9大坑,以便于大家吸取教训,能够防微杜渐,希望对你会有所帮助。658effc48411054ba554f43e8c607bc7.png

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

1 漏脚本了

我们上线时执行的SQL脚本,出现次数最多的问题,应该是漏脚本了。

  • 有时候少加了一个字段。

  • 有时候字段的注释没有及时修改。

  • 有时候有些新表没创建。

  • 有时候字段类型忘了修改。

等等。

我们的SQL脚本中漏脚本的情况有很多。

那么,如何解决这个问题呢?

答:将SQL脚本做成代码的一部分。在项目的代码中,创建一个专门的sql目录,在该目录下根据每个迭代创建一个子目录,比如:mv3.2.1,将SQL脚本存放到mv3.2.1下。

我们在开发环境任何对表的相关操作,比如:增加字段、修改字段类型、修改注释、增加索引、创建表等等,都需要通过SQL语句操作,然后把该SQL语句,整理到SQL脚本中。

最后提交到公司的GitLab上,我们在测试环境和生产环境发版时,去GitLab上找相关迭代版本的SQL脚本执行。

通过该方式基本可以解决漏脚本的问题。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

2 脚本语法错误

有些小伙伴看到这个标题可能有点懵,SQL脚本不是已经在测试环境执行过了吗?为什么还会出现语法错误?

比如说有这样的场景:原本你的SQL脚本没问题的,但没有按照规范,给一张表的添加多个字段,你写了多条ALTER语句。

例如:

alter table t_user add column  `work` varchar(30) DEFAULT NULL COMMENT '工作';
alter table t_user add column  `provice` varchar(10) DEFAULT NULL  COMMENT '籍贯';

在上线时,你给DBA提SQL工单时,该工单被DBA审核拒绝打回来了。

然后为了赶时间,你急急忙忙把多条ALTER语句改成一条ALTER语句。

例如:

alter table t_user add `work` varchar(30) DEFAULT NULL COMMENT '工作',
add `provice` varchar(10) DEFAULT NULL  COMMENT '籍贯';

但在修改的过程中,有地方少了一个逗号,就可能会出现SQL语法错误。

因此,不管是什么SQL语句,要养成好习惯,只要修改了一定要记得到开发环境的数据库中,先执行测试一下,切勿直接提到生产环境,即使你有很大的把握,也需要再更慎重一些。

这样基本可以避免SQL语法错误的问题。

3 脚本顺序不对

有些时候,我们在上线系统时,DBA在执行SQL脚本的时候,没有报错,但最后的数据就是不对。

有可能是脚本顺序不对导致的。

比如有这样一种场景:你往某张表通过insert初始化了一条数据。

例如:

INSERT INTO `sue`.`t_user`(`id`, `code`, `age`, `name`, `height`, `address`, `work`, `provice`) VALUES (1, '101', 21, '周星驰', 173, '香港', NULL, NULL);

另外一个人要基于你这条数据,通过update修改数据。

例如:

update t_user set age=25 where id=1;

你们提了两条SQL脚本。

另外一个人先提的,你后提的。

DBA先把他的SQL工单审核通过了,先update数据,此时通过id是没法找到那条数据的,影响行数为0。

然后DBA再审核你的SQL工单,审核通过了,插入了一条数据。

由于SQL脚本的顺序不对,导致最终系统上线时的数据不对。

那么这个问题要如何解决呢?

双方要事先沟通好,把另外一个同事的SQL脚本加到你的初始化脚本中,你的脚本在初始化时,直接去修改数据即可。

例如:

INSERT INTO `sue`.`t_user`(`id`, `code`, `age`, `name`, `height`, `address`, `work`, `provice`) VALUES (1, '101', 25, '周星驰', 173, '香港', NULL, NULL);

这样可以避免执行顺序问题。

4 执行时机不对

有些系统功能已经上线了,在后面的迭代中,为了尽量避免少影响线上功能,可以增加一个pre(即预生产环境)。

该环境跟生产环境是差不多的,连接了相同的数据库,使用了相同的apollo配置。

但唯一的区别是pre环境没有实际的用户流量,只能公司内部人员才能访问。

一般在迭代版本上线之前,先要把系统功能发布到pre环境中,测试通过之后,才能发布到prod(即生产环境)。

但有些SQL脚本,却没法再pre环境中执行,不然会影响生产环境。

比如:修改了字段类型,int改成varchar了,或者初始化数据时,初始化了一条新加的枚举数据。

由于pre环境是运行的最新代码,但prod环境还是运行的老代码。

如果在发布pre环境时,直接执行SQL脚本,可能会导致prod环境的功能异常。

因此要搞清楚SQL脚本的执行时机,哪些是要在pre环境执行的,哪些是要在prod环境执行的。

我们在提SQL工单时,千万不要一股脑就提了,一定要区分时机。

在发pre环境时,要么不提发prod环境的SQL脚本。要么,在工单的名称上做区分,比如增加prod_开头的标识。

这样可以解决SQL脚本执行时机的问题。

5 搞错数据库了

有时候,我们的数据库做了分库分表,或者增加备份库。

在执行SQL脚本的时候,由于我们自己的疏忽,提SQL工单时选错数据库了,或者DBA的疏忽,在执行SQL工单时搞错数据库了,就会出现问题。

建议我们的SQL脚本增加库名,比如:

alter table sue.t_user add `work` varchar(30) DEFAULT NULL COMMENT '工作';

这里增加库名:sue。

这样基本可以避免选错数据库的问题。

6 脚本耗时太长

有时候,我们的SQL脚本需要批量修改生产环境的一些数据,正常情况下一条update语句就能搞定。

例如:

update user set status=0 where status=1;

但由于user表的数据量非常大,我们在执行该SQL脚本之前,没有预先评估该SQL脚本的耗时情况,而选择直接在生产环境的数据库中执行。

假如该SQL脚本耗时非常长,比如要10分钟才能执行完,可能会导致user表长期锁表,影响正常的业务功能。

在该SQL脚本执行的过程中,极有可能会出现业务功能操作,导致的死锁问题。

因此,建议这种大批量的数据更新操作,要在用户较少的凌晨,分批多次执行。

我们要尽可能少的影响线上用户的功能。

此外,在生产环境增加字段,增加索引等操作,也能会导致长期锁表。也要避免在用户访问高峰期执行相关的SQL脚本。

7 脚本无法回滚

绝大多数系统上线是能够成功的,虽然过程中会遇到很多问题,但如果能够及时解决,也能够上线成功。

但如果有些问题,没法再规定的时间内解决,很有可能会导致上线失败。

如果上线失败,意味着代码和数据库的SQL脚本要回滚。

如果只回滚了代码,不回滚数据库,可能会导致很多系统异常。

因此,我们在准备SQL语句时,要留点心眼,顺便想想该SQL语句能否回滚。

对于update语句可以加上修改时间:

update t_user set age=25,time=now(3) where id=1;

这样可以通过该时间追溯一次SQL操作修改的数据,方便后面做回滚。

有些时候我们要update的数据,是要通过多条sql语句查询出来的,比如:需要使用的id。

为了方便回滚我们可以增加临时表,保存这些id,后面就能追溯了。

当然有些开源的数据库管理平台,比如:Archery,是有自带SQL审核和回滚的功能。

8 忘了加索引

我们在增加了字段之后,非常容易忽略的一件事是:加索引。

特别是当前表数据量很大,而且增加的字段是另外一张表的id时,这种情况强烈建议增加索引。

如果我们上线系统时,在SQL脚本中,忘了给该字段增加索引。如果该id字段被大批量访问,全部走的全表扫描,可能会导致数据库性能直线下降,出现大量的超时问题。

所以建议我们在开发的时候,如果要增加字段的话,要养成良好习惯,想一想这个字段需不需要建索引。

如果不确定数据量的话,可以先到生产环境查询一下真实的用户数据,不然后续可能会引起比较大的生产事故。

9 字段改名

对于生产环境的表字段,通常情况下,我们不允许修改名称。

如果你在发布pre环境时,通过SQL脚本把某张表的某个字段名称修改了,pre环境代码使用了新的名称,系统没有问题。

但prod环境还是使用老的名称,所有使用该名称的sql语句,在代码执行过程中都会报错。

因此,禁止在生产环境通过SQL脚本修改字段名称。

当然系统上线时除了SQL脚本的这些坑之外,还有系统发版失败,代码合错分支,mq消息被pre消费了,无法回滚等等,还有很多问题。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

0e9b4403a01f2a60ba34d3d305ad2289.png

已在知识星球更新源码解析如下:

d455d077911a1de6f6882f6e7a4639c3.jpeg

3689f605e87a94b79b58e59d07800003.jpeg

662b9b8c1e9f520f0388b6fb4547ad80.jpeg

0b8cd9c5386b04783f66cf77d7f3865e.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
SpringBoot+Vue酒店管理系统实战:从零到上线,我踩过的那些坑(附完整源码) 本文详细记录了使用SpringBoot+Vue开发酒店管理系统的实战经验,涵盖从项目规划到部署上线的全流程。重点解析了前后端分离架构下的37个典型问题及解决方案,包括数据库设计、支付流程、文件上传、跨域问题等关键环节,并附完整源码供参考。 阅读详情

相关推荐

SQL Server测试数据生成:T-SQL工业级实战指南

测试数据生成是数据库开发与性能验证的基础能力,其核心在于模拟真实业务场景下的数据分布、关系约束与统计特征。从基础INSERT到CTE递归控制基数,再到跨表JOIN绑定外键、自定义函数生成合规手机号与身份证号,T-SQL方案以高可控性、强可维护性和原生兼容性成为SQL Server 2016+环境的首选。相比VS2010等黑盒工具,手写T-SQL能规避类型不匹配、统计信息滞后、时间戳聚集等典型故障,直接支撑索引优化、执行计划分析与压力测试。本文聚焦SQL Server平台,详解如何用纯T-SQL实现百万级、高

SailingAptech的专栏 408

芋道sqlruoyi-vue-pro yudao 项目工作流模块相关SQL脚本

芋道sql ruoyi-vue-pro yudao 项目工作流模块相关SQL脚本,目前ruoyi-vue-pro 项目虽然开源,但是工作流模块被屏蔽了,分享下工作流的sql相关脚本。ruoyi-vue-pro的版本号为:2.0.1。

Dayeye1828的博客 2049

机器学习模型上线:从实验室到生产环境的系统化落地实践

机器学习模型部署不是简单的API封装,而是涉及数据契约、服务容错、链路监控与业务协同的系统工程。其核心在于将静态模型转化为可审计、可降级、可解释的动态决策组件。关键技术挑战包括特征时效性失效、跨服务接口契约断裂、fallback路径不可控等,需通过标准化特征治理、全链路追踪、多级熔断降级和漂移响应SOP来应对。在金融风控等强监管场景中,模型健康度、决策可追溯性与合规自动化已成为落地前提。本文聚焦真实生产环境中的集成逻辑、性能权衡与治理机制,为算法工程师、MLOps团队及业务负责人提供面向可用性的工程化方法论

weixin_34318326的博客 626

关于芋道源码中的工作流(基于flowable)简单探究(个人学习)

工作流(Workflow)指“业务过程的部分或整体在计算机应用环境下的自动化”,是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。它主要解决的是为了实现某个业务目标,利用计算机在多个参与者之间按某种预定规则自动传递文档、信息或者任务的问题。工作流概念起源于生产组织和办公自动化领域,是针对日常工作中具有固定程序活动而提出的一个概念,目的是通过将工作分解成定义良好的任务或角色,按照一定的规则和过程来执行这些任务并对其进行监控,达到提高工作效率、更好的控制过程、增强对客户的服务、有效管理业务流程等目的。

weixin_56555958的博客 1万+

Tp5 rbac权限数据库文件 rbac.sql

tp5引入Rbac插件可以很方便的管理后台权限问题,之前看了好多文档都无法迁移数据库文件 只好自己整了个分享出来

通用权限设计源代码(带SQL脚本)

通用权限设计源代码javaServlet实现

【效能提升】上线前漏了SQL脚本,漏加上某个配置项了?

背景 一个版本从开始开发到上线,可能经历10多天,甚至更久。 由于这个过程的时间较长,难免出现某些需要执行的SQL脚本、需要配置的配置项,到了上线前,却被遗漏了,最后导致出现线上问题才发现。 我们团队也出这种情况发生,我们想了个比较笨的办法,虽然笨,但终究还是有些作用。 开发人员提测前登记「除代码外的改动项」,由测试人员执行「除代码外的改动项」 之前: 开发人员开发完毕 开发人员完成好测试环境的所有配置,准备完善测试环境 请测试人员直接进入测试 现在: 开发人员完成代码开发,在开发过程中用「我们约定的

尼克同学的博客 370

异步复位同步释放:如何确保复位信号的可靠性与时序安全

本文深入探讨了异步复位同步释放技术在数字电路设计中的关键作用,详细分析了复位信号的可靠性与时序安全问题。通过对比异步复位与同步复位的本质区别,揭示异步复位的优势与潜在风险,并提供了标准的Verilog实现方案。文章还涵盖了多时钟域下的复位同步策略、复位网络时序约束方法以及实际工程中的经验教训,为数字系统设计者提供了全面的复位信号处理指南。

weixin_29213655的博客 403

一个实现RBAC的SQL脚本

/**********************************************************************//* RBAC Implement SQL Script For Mysql                                           *//*                                       

enjoyo 1698

详解Numpy中的transpose方法

最近在学Numpy碰到了关于数组转置和换轴的概念,尤其是对tanspose方法有些疑惑,尤其是多维,查了不少资料,终于搞懂了。 Numpy数组的轴(axis) 所谓的**轴(axis)**可以理解为数组的维度。 具体而言,二维数组就是有两个维度,如果从空间上看,它就是一个平面,由x轴和y轴构成,而与此相对应的,该二维数组就有两个轴,x轴对应0轴,y轴对应1轴。 同理,三维数组有三个维度,空间上...

BlankGrid的博客 940

hcaptcha无感验证码逆向实战:从接口分析到环境补全

本文详细解析了hcaptcha无感验证码的逆向实战过程。通过分析核心接口与加密逻辑,重点介绍了采用环境补全策略来模拟真实浏览器环境,从而绕过验证码检测。文章提供了从接口抓包、剖析hsw.js加密核心到使用Node.js搭建模拟环境的完整步骤,为自动化操作提供了一种稳健的解决方案。

weixin_29324401的博客 1158

聊聊系统上线前,SQL脚本的9大坑

系统上线时,非常容易出问题。 即使之前在测试环境,已经执行过SQL脚本了。但是有时候,在系统上线时,在生产环境执行相同的SQL脚本,还是有可能出现一些问题。 有些小公司,SQL脚本是开发自己执行的,有很大的风险。 有些大厂,有专业的DBA把关,但DBA也不是万能的,还是有可能会让一些错误的SQL脚本被生产环境执行了,比如:update语句的顺序不对。 今天跟大家一起聊聊,系统上线时SQL脚本的9大坑,以便于大家吸取教训,能够防微杜渐,希望对你会有所帮助。

weixin_50205273的博客 310

LabView实战:精准实现float到十六进制的转换与高低位拆分

本文详细讲解了在LabVIEW中实现单精度浮点数(float)到十六进制字符串转换,并进行高低16位拆分的实战方法。针对工业通信中设备协议要求,核心使用强制类型转换(Type Cast)获取内存原始数据,避免数值转换错误,并提供了完整的VI构建步骤、交叉验证技巧及常见踩坑经验(如字节序、字符串格式),确保数据通信的准确性。

assembly8low的博客 1767

今天来浅谈一下系统上线前,SQL脚本的9大坑

虽然在pre环境中使用新的名称是没有问题的,但是如果你忽略了prod环境的老名称,那么在生产环境中使用该名称的sql语句,在代码执行过程中都会报错。因此,不管是什么SQL语句,要养成好习惯,只要修改了一定要记得到开发环境的数据库中,先执行测试一下,切勿直接提到生产环境,即使你有很大的把握,也需要再更慎重一些。在执行SQL脚本的时候,由于我们自己的疏忽,提SQL工单时选错数据库了,或者DBA的疏忽,在执行SQL工单时搞错数据库了,就会出现问题。此外,在生产环境增加字段,增加索引等操作,也能会导致长期锁表。

2301_76936922的博客 349

AB脉冲详解(编码器,PLC,上位机)

编码器线有些是用不到的。Z脉冲:360度中,只有1度是输出,输出能力是。编码器实际就是发光二极管,所以电流超过20ma会缩短寿命或损坏。

cfqq1989的博客 1万+

【升级U8+】不能将值 NULL 插入列 ‘VT_ID‘,表 ‘VoucherItems‘;列不允许有 Null 值。

不能将值 NULL 插入列 ‘VT_ID’,表 ‘UFDATA_006_2012.dbo.VoucherItems’;列不允许有 Null 值。INSERT 失败。

努力不懈的为广大客户提供优质的产品与真诚、贴心、专业的服务! 519

SQL脚本的9大坑

.markdown-body { line-height: 1.75; font-weight: 400; font-size: 16px; overflow-x: hidden; color: rgba(37, 41, 51, 1) } .markdown-body h1, .markdown-body h2, .markdown-body h3, .markdown-body h4, .ma...

程序员小明1024 242

小龙虾 OpenClaw 权限全攻略:轻松激活 elevated (最新版 OpenClaw 自动化任务降智、无权限、无法执行sudo等系统命令、提升 elevated 权限的解决方案)

升级小龙虾 OpenClaw 后权限不足?elevated 报错?📛 本文教你如何正确配置 OpenClaw 权限💻,让自动化任务顺利执行 🚀

XiaoqiangClub的博客 734

系统上线前,被坑了。。

因此,不管是什么SQL语句,要养成好习惯,只要修改了一定要记得到开发环境的数据库中,先执行测试一下,切勿直接提到生产环境,即使你有很大的把握,也需要再更慎重一些。有些大厂,有专业的 DBA 把关,但 DBA 也不是万能的,还是有可能会让一些错误的 SQL 脚本被生产环境执行了,比如:update 语句的顺序不对。如果我们上线系统时,在SQL脚本中,忘了给该字段增加索引。在执行SQL脚本的时候,由于我们自己的疏忽,提SQL工单时选错数据库了,或者DBA的疏忽,在执行SQL工单时搞错数据库了,就会出现问题。

m0_46163918的博客 325

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

PHP 9.0异步AI聊天机器人上线前必做的7项安全审计

异步编程通过事件循环和非阻塞I/O实现了高并发处理能力,是现代高性能服务端应用的核心技术。其原理在于单线程内通过协程调度并发执行多个任务,避免了传统多进程/多线程的上下文切换开销。这种架构在提升吞吐量的同时,也引入了共享内存污染、资源竞争和协程泄漏等新型安全风险,技术价值在于平衡性能与安全性。在AI聊天机器人、实时通信等应用场景中,流式响应和外部API调用进一步放大了这些风险。本文聚焦于PHP 9.0异步架构,针对协程上下文隔离、LLM输入输出过滤等关键热词,提供一份覆盖原子操作、超时控制、事件循环稳定性的

weixin_32736961的博客 234

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

从Oracle迁移到MySQL,我踩过的10个大坑(附解决方案)

《从Oracle迁移到MySQL的10个关键问题与解决方案》摘要:本文总结了Oracle迁移MySQL过程中的典型陷阱,包括自增主键不连续、分页性能下降、大小写敏感、空字符串处理差异、时间精度丢失等问题。针对每个问题提供了实用解决方案,如改用游标分页、统一命名规范、显式处理NULL值、升级MySQL版本等。特别强调存储过程迁移应重构为应用代码,事务隔离级别需显式设置,跨库查询建议ETL同步。文章最后指出数据库迁移本质是业务连续性工程,建议通过SQL审计、回滚预案和流量验证确保平稳过渡。核心原则是"

gjc592的博客 1035

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

踩坑实录:国产数据库分库分表 24 个经典大坑(90% 信创项目都踩过)

分库分表从来不是性能银弹,而是用复杂度换扩展性的技术方案。在国产数据库生态尚不完善的阶段,盲目照搬 MySQL 生态的玩法,必然会踩进各种兼容性大坑。比 “怎么分” 更重要的是 “要不要分”。前期做好评估,选对分片键,中间严控 SQL 质量,后期完善运维体系,才能真正发挥分库分表的价值,同时把风险控制在可接受范围内。希望这 24 个踩坑总结,能帮你在信创改造路上少走弯路。

雨辰AI的博客 337
上一篇: Spring Event + DDD = 王炸!!
下一篇: 支付宝二面:使用 try-catch 捕获异常会影响性能吗?大部分人都会答错!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值