SQL脚本的9大坑

Dynamics 365 On-Premise Server v9.0部署体验 期盼已久的Dynamics 365 On-Premise的版本升级终于在11月初姗姗来迟。 11月2日起已经可以在官方渠道下载正式版的Dynamics 365 Server v9.0安装文件,版本号9.0.2,随手附上中文版安装文件下载地址。 想必已经有不少小伙伴开始尝试各种升级、安装了吧。 Dynamics 365 On-Premise的安装过程,度娘一下已经有很多了,这里就不赘述了,只是... 阅读详情

前言

系统上线时,非常容易出问题。

即使之前在测试环境,已经执行过SQL脚本了。但是有时候,在系统上线时,在生产环境执行相同的SQL脚本,还是有可能出现一些问题。

有些小公司,SQL脚本是开发自己执行的,有很大的风险。

有些大厂,有专业的DBA把关,但DBA也不是万能的,还是有可能会让一些错误的SQL脚本被生产环境执行了,比如:update语句的顺序不对。

今天跟大家一起聊聊,系统上线时SQL脚本的9大坑,以便于大家吸取教训,能够防微杜渐,希望对你会有所帮助。图片

1 漏脚本了

我们上线时执行的SQL脚本,出现次数最多的问题,应该是漏脚本了。

  • 有时候少加了一个字段。
  • 有时候字段的注释没有及时修改。
  • 有时候有些新表没创建。
  • 有时候字段类型忘了修改。

等等。

我们的SQL脚本中漏脚本的情况有很多。

那么,如何解决这个问题呢?

答:将SQL脚本做成代码的一部分。在项目的代码中,创建一个专门的sql目录,在该目录下根据每个迭代创建一个子目录,比如:mv3.2.1,将SQL脚本存放到mv3.2.1下。

我们在开发环境任何对表的相关操作,比如:增加字段、修改字段类型、修改注释、增加索引、创建表等等,都需要通过SQL语句操作,然后把该SQL语句,整理到SQL脚本中。

最后提交到公司的GitLab上,我们在测试环境和生产环境发版时,去GitLab上找相关迭代版本的SQL脚本执行。

通过该方式基本可以解决漏脚本的问题。

2 脚本语法错误

有些小伙伴看到这个标题可能有点懵,SQL脚本不是已经在测试环境执行过了吗?为什么还会出现语法错误?

比如说有这样的场景:原本你的SQL脚本没问题的,但没有按照规范,给一张表的添加多个字段,你写了多条ALTER语句。

例如:

alter table t_user add column  `work` varchar(30) DEFAULT NULL COMMENT '工作';
alter table t_user add column  `provice` varchar(10) DEFAULT NULL  COMMENT '籍贯';
复制代码

在上线时,你给DBA提SQL工单时,该工单被DBA审核拒绝打回来了。

然后为了赶时间,你急急忙忙把多条ALTER语句改成一条ALTER语句。

例如:

alter table t_user add `work` varchar(30) DEFAULT NULL COMMENT '工作',
add `provice` varchar(10) DEFAULT NULL  COMMENT '籍贯';
复制代码

但在修改的过程中,有地方少了一个逗号,就可能会出现SQL语法错误。

因此,不管是什么SQL语句,要养成好习惯,只要修改了一定要记得到开发环境的数据库中,先执行测试一下,切勿直接提到生产环境,即使你有很大的把握,也需要再更慎重一些。

这样基本可以避免SQL语法错误的问题。

3 脚本顺序不对

有些时候,我们在上线系统时,DBA在执行SQL脚本的时候,没有报错,但最后的数据就是不对。

有可能是脚本顺序不对导致的。

比如有这样一种场景:你往某张表通过insert初始化了一条数据。

例如:

INSERT INTO`sue`.`t_user`(`id`, `code`, `age`, `name`, `height`, `address`, `work`, `provice`) VALUES (1, '101', 21, '周星驰', 173, '香港', NULL, NULL);
复制代码

另外一个人要基于你这条数据,通过update修改数据。

例如:

update t_userset age=25 where id=1;
复制代码

你们提了两条SQL脚本。

另外一个人先提的,你后提的。

DBA先把他的SQL工单审核通过了,先update数据,此时通过id是没法找到那条数据的,影响行数为0。

然后DBA再审核你的SQL工单,审核通过了,插入了一条数据。

由于SQL脚本的顺序不对,导致最终系统上线时的数据不对。

那么这个问题要如何解决呢?

双方要事先沟通好,把另外一个同事的SQL脚本加到你的初始化脚本中,你的脚本在初始化时,直接去修改数据即可。

例如:

INSERT INTO`sue`.`t_user`(`id`, `code`, `age`, `name`, `height`, `address`, `work`, `provice`) VALUES (1, '101', 25, '周星驰', 173, '香港', NULL, NULL);
复制代码

这样可以避免执行顺序问题。

4 执行时机不对

有些系统功能已经上线了,在后面的迭代中,为了尽量避免少影响线上功能,可以增加一个pre(即预生产环境)。

该环境跟生产环境是差不多的,连接了相同的数据库,使用了相同的apollo配置。

但唯一的区别是pre环境没有实际的用户流量,只能公司内部人员才能访问。

一般在迭代版本上线之前,先要把系统功能发布到pre环境中,测试通过之后,才能发布到prod(即生产环境)。

但有些SQL脚本,却没法再pre环境中执行,不然会影响生产环境。

比如:修改了字段类型,int改成varchar了,或者初始化数据时,初始化了一条新加的枚举数据。

由于pre环境是运行的最新代码,但prod环境还是运行的老代码。

如果在发布pre环境时,直接执行SQL脚本,可能会导致prod环境的功能异常。

因此要搞清楚SQL脚本的执行时机,哪些是要在pre环境执行的,哪些是要在prod环境执行的。

我们在提SQL工单时,千万不要一股脑就提了,一定要区分时机。

在发pre环境时,要么不提发prod环境的SQL脚本。要么,在工单的名称上做区分,比如增加prod_开头的标识。

这样可以解决SQL脚本执行时机的问题。

5 搞错数据库了

有时候,我们的数据库做了分库分表,或者增加备份库。

在执行SQL脚本的时候,由于我们自己的疏忽,提SQL工单时选错数据库了,或者DBA的疏忽,在执行SQL工单时搞错数据库了,就会出现问题。

建议我们的SQL脚本增加库名,比如:

alter table sue.t_user add `work` varchar(30) DEFAULT NULL COMMENT '工作';
复制代码

这里增加库名:sue。

这样基本可以避免选错数据库的问题。

6 脚本耗时太长

有时候,我们的SQL脚本需要批量修改生产环境的一些数据,正常情况下一条update语句就能搞定。

例如:

update user set status=0 where status=1;
复制代码

但由于user表的数据量非常大,我们在执行该SQL脚本之前,没有预先评估该SQL脚本的耗时情况,而选择直接在生产环境的数据库中执行。

假如该SQL脚本耗时非常长,比如要10分钟才能执行完,可能会导致user表长期锁表,影响正常的业务功能。

在该SQL脚本执行的过程中,极有可能会出现业务功能操作,导致的死锁问题。

因此,建议这种大批量的数据更新操作,要在用户较少的凌晨,分批多次执行。

我们要尽可能少的影响线上用户的功能。

此外,在生产环境增加字段,增加索引等操作,也能会导致长期锁表。也要避免在用户访问高峰期执行相关的SQL脚本。

7 脚本无法回滚

绝大多数系统上线是能够成功的,虽然过程中会遇到很多问题,但如果能够及时解决,也能够上线成功。

但如果有些问题,没法再规定的时间内解决,很有可能会导致上线失败。

如果上线失败,意味着代码和数据库的SQL脚本要回滚。

如果只回滚了代码,不回滚数据库,可能会导致很多系统异常。

因此,我们在准备SQL语句时,要留点心眼,顺便想想该SQL语句能否回滚。

对于update语句可以加上修改时间:

update t_user set age=25,time=now(3) where id=1;
复制代码

这样可以通过该时间追溯一次SQL操作修改的数据,方便后面做回滚。

有些时候我们要update的数据,是要通过多条sql语句查询出来的,比如:需要使用的id。

为了方便回滚我们可以增加临时表,保存这些id,后面就能追溯了。

当然有些开源的数据库管理平台,比如:Archery,是有自带SQL审核和回滚的功能。

8 忘了加索引

我们在增加了字段之后,非常容易忽略的一件事是:加索引。

特别是当前表数据量很大,而且增加的字段是另外一张表的id时,这种情况强烈建议增加索引。

如果我们上线系统时,在SQL脚本中,忘了给该字段增加索引。如果该id字段被大批量访问,全部走的全表扫描,可能会导致数据库性能直线下降,出现大量的超时问题。

所以建议我们在开发的时候,如果要增加字段的话,要养成良好习惯,想一想这个字段需不需要建索引。

如果不确定数据量的话,可以先到生产环境查询一下真实的用户数据,不然后续可能会引起比较大的生产事故。

9 字段改名

对于生产环境的表字段,通常情况下,我们不允许修改名称。

如果你在发布pre环境时,通过SQL脚本把某张表的某个字段名称修改了,pre环境代码使用了新的名称,系统没有问题。

但prod环境还是使用老的名称,所有使用该名称的sql语句,在代码执行过程中都会报错。

因此,禁止在生产环境通过SQL脚本修改字段名称。

当然系统上线时除了SQL脚本的这些坑之外,还有系统发版失败,代码合错分支,mq消息被pre消费了,无法回滚等等,还有很多问题。

如果对系统上线问题感兴趣的小伙伴,可以看我知识星球【Java突击队】中的另一篇文章《系统上线时的10大坑》。

最近苏三的知识星球【Java突击队】,每天都会更新很多干货内容。

很多独家的干货内容,比如:Java后端学习路线,分享实战项目,源码分析,百万级系统设计,系统上线的一些坑,MQ专题,真实面试题,每天都会回答大家提出的问题。

这几天星球开通了3个优质专栏:痛点问题、高频面试题 和 性能优化。复制代码
来源:https://juejin.cn/post/7201316570315817016
避开Geoserver参数地图的3个大坑:SQL View特殊字符处理与坐标系避坑指南 本文深入探讨了Geoserver参数地图服务中的三大常见问题:SQL View特殊字符处理、坐标系混用及参数注入。通过实际案例和详细解决方案,帮助开发者有效避免WMS和WFS服务中的技术陷阱,提升地图服务的稳定性和性能。 阅读详情

相关推荐

避开SAP PP配置大坑:定义生产管理员(OPJ9)时,90%的人会忽略的关联配置检查

本文深入解析SAP PP模块中生产管理员(OPJ9)配置的关键要点,揭示90%用户会忽略的关联配置检查。通过详细的数据关联矩阵和分步验证方法,帮助用户避免工作中心无法关联、计划员权限异常等常见问题,提升生产管理效率。特别适用于需要精确配置OPJ9与工作中心、生产计划参数文件关联的场景。

weixin_30859423的博客 358

系统上线前,SQL脚本的9大坑

???? 欢迎加入小哈的星球,你将获得:专属的项目实战 /1v1 提问/Java 学习路线 /学习打卡/每月赠书/社群讨论新项目:《从零手撸:仿小红书(微服务架构)》正在持续爆肝中,基于 Spring Cloud Alibaba + Spring Boot 3.x + JDK 17...,点击查看项目介绍;《从零手撸:前后端分离博客项目(全栈开发)》2期已完结,演示链接:http...

犬小哈 131

SQL Server 2019 Docker 部署:Mac M2 ARM 架构 3 大坑点与 azure-sql-edge 镜像替代方案

本文详细介绍了在 Mac M2 ARM 架构上使用 Docker 部署 SQL Server 2019 的三大常见问题及解决方案,重点推荐了 azure-sql-edge 镜像作为稳定替代方案。通过对比分析不同镜像的优劣,帮助开发者快速解决兼容性和性能问题,提升开发效率。

weixin_34391445的博客 501

聊聊系统上线前,SQL脚本的9大坑

系统上线时,非常容易出问题。 即使之前在测试环境,已经执行过SQL脚本了。但是有时候,在系统上线时,在生产环境执行相同的SQL脚本,还是有可能出现一些问题。 有些小公司,SQL脚本是开发自己执行的,有很大的风险。 有些大厂,有专业的DBA把关,但DBA也不是万能的,还是有可能会让一些错误的SQL脚本被生产环境执行了,比如:update语句的顺序不对。 今天跟大家一起聊聊,系统上线时SQL脚本的9大坑,以便于大家吸取教训,能够防微杜渐,希望对你会有所帮助。

weixin_50205273的博客 310

Sqlite报错:sqlite3.OperationalError: near “?“: syntax error(采大坑经验:sql 语句中表名列名不能使用变量传参)

#问题 执行以下程序报错: sql_update = 'update images set ? = ? where id = ?' args = (k, inputs[k], update_id, ) cur.execute(sql_update, args) 其中,args = ('name', 'robin', 2) 不怎么看,怎么改,SQL 语句都没有问题,但是不论怎么做都会报错!浪费半天时间。 #解

Robin_Pi的博客 3151

将一维数据(序列)转化为二维数据(图像)的方法汇总GAFS, MTF, Recurrence plot,STFT

虽然深度学习方法(1D CNN, RNN, LSTM 等)可以直接处理一维数据,但是当前的深度学习方法主要还是处理二维结构数据的,特别是在计算机视觉CV以及自然语言处理NLP领域,各种各样的方法层出不穷。因此,如果能够将一维序列数据转化为二维(图像)数据, 则可以直接结合CV以及NLP领域的方法,是不是很有趣! GAF, GASF, GADF, MTF, Recurrence Plot, STFT, 短时傅里叶变换

MasterQKK 5万+

今天来浅谈一下系统上线前,SQL脚本的9大坑

虽然在pre环境中使用新的名称是没有问题的,但是如果你忽略了prod环境的老名称,那么在生产环境中使用该名称的sql语句,在代码执行过程中都会报错。因此,不管是什么SQL语句,要养成好习惯,只要修改了一定要记得到开发环境的数据库中,先执行测试一下,切勿直接提到生产环境,即使你有很大的把握,也需要再更慎重一些。在执行SQL脚本的时候,由于我们自己的疏忽,提SQL工单时选错数据库了,或者DBA的疏忽,在执行SQL工单时搞错数据库了,就会出现问题。此外,在生产环境增加字段,增加索引等操作,也能会导致长期锁表。

2301_76936922的博客 349

远距离长航时低成本泡沫垂直起降固定翼无人机技术详解

该技术通过采用泡沫材料制造无人机机体,并结合高效的垂直起降与固定翼飞行机制,实现了低成本、长航时、远距离的飞行能力。然而,需要注意的是,泡沫材料在强度和耐候性方面可能较传统金属材料有所不足,因此在设计和制造过程中需要采取额外的加固和防护措施。用于森林防火、水域监测、空气质量检测等场景,通过搭载相应的传感器和摄像设备,对大范围区域进行高效、精准的监测。- 增强智能化水平:集成更多先进的传感器、算法和人工智能技术,提升无人机的自主决策能力和作业效率。

专注多旋翼、复合翼无人机技术研究,从事低空经济行业。 1202

聊聊SQL Server迁移最怕的几件事,看看KES V9R4C019是怎么解决的

SQL Server迁移至国产数据库面临四大痛点:T-SQL存储过程改写复杂、数据类型不匹配、特有语法兼容问题及停机时间窗口不足。金仓数据库KES V9R4C019通过S兼容模式提供针对性解决方案:内置T-SQL语法解析器实现逻辑转换、自动数据类型映射、引擎层语法转译(如TOP转LIMIT),并支持全量+增量同步缩短停机时间。实际迁移中建议使用KDTS工具分阶段处理,重点验证核心业务数据准确性。该版本显著降低了迁移改造成本,但完全零修改迁移仍不现实,需结合日志分析和分步优化。(149字)

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 5万+

用Python玩转农业大数据:从Landsat遥感影像到作物产量预测实战教程

本文详细介绍了如何利用Python处理Landsat遥感影像数据,并结合土壤信息构建作物产量预测模型。从环境搭建、数据预处理到模型训练与可视化,提供了一套完整的农业大数据分析实战方案,帮助读者掌握遥感影像处理和机器学习在精准农业中的应用。

weixin_30832143的博客 400

VS2019集成AddressSanitizer:C++内存错误检测实战指南

在C++开发中,内存管理是核心挑战之一,涉及堆、栈和全局变量的分配与释放。其原理在于程序运行时对内存地址的访问必须严格遵循分配边界和生命周期规则,否则会导致缓冲区溢出、释放后使用等严重错误。这类问题的技术价值在于直接影响程序的稳定性、安全性和性能,是高质量软件必须攻克的基础难题。应用场景广泛,从嵌入式系统到大型服务器软件,都需要可靠的内存错误检测机制。AddressSanitizer(ASan)作为一种编译时插桩技术,通过影子内存和运行时检查,能精准定位堆缓冲区溢出、释放后使用等隐蔽错误。本文以Visual

weixin_34356310的博客 279

DISTINCT 搭配 ROWNUM 莫名少数据?SQL 执行优先级大坑

的执行优先级陷阱,本质上是不同数据库对行号伪列赋值时机的设计差异。ROWNUM赋值在DISTINCT之前——先截取,后去重,结果可能少于 N 行。PostgreSQLLIMIT作用于最终结果——先去重,后截取,结果恰好 N 行。ROWNUM 阻断子查询提升:引用ROWNUM的子查询,外部过滤条件无法下推,可能导致全表扫描。最佳实践明确业务意图,选择正确的写法跨库兼容场景下,使用嵌套子查询或窗口函数避免将作为"取 N 个不重复值"的手段永远不要用ROWNUM去做你真正想做之外的事情。

2402_83322742的博客 4万+

【最全选型攻略-盘点篇】市面上有哪些靠谱的工业3D相机品牌?(双目、结构光、TOF、激光三角)

选工业3D相机,选最靠谱的品牌,选最Match你的产品,看这一篇就够了!

jiqishijueyingdi的博客 1万+

牛客SQL 全部题目 SQL257-SQL265 9套代码及解析(6)

SQL257 刷题通过的题目排名 SQL258 找到每个人的任务 SQL259 异常的邮件概率 SQL260 牛客每个人最近的登录日期(一) SQL261 牛客每个人最近的登录日期(二) SQL262 牛客每个人最近的登录日期(三) SQL263 牛客每个人最近的登录日期(四) SQL264 牛客每个人最近的登录日期(五) SQL265 牛客每个人最近的登录日期(六)

qq118640594X的博客 458

基于SAGE算法的宽带信道参数估计算法的MATLAB仿真

本文将介绍如何使用MATLAB进行SAGE算法的仿真,以便更好地理解和应用该算法。SAGE算法是一种基于最大期望(Expectation-Maximization)方法的迭代估计算法,用于估计未知的参数。在宽带信道参数估计中,SAGE算法通过迭代优化来估计信道的传输函数。总结起来,本文介绍了如何使用MATLAB进行基于SAGE算法的宽带信道参数提取算法的仿真。通过以上步骤,我们可以得到估计的信道响应,并与真实信道响应进行比较。此外,SAGE算法还可以与其他信道估计算法相结合,以提高估计的准确性和性能。

CodeRoarX的博客 1077

SAP UI5 和 Fiori 的一些小技巧合集 - 持续更新中

本文介绍笔者从事 SAP UI5 和 Fiori 开发多年以来,积累的一些经验和小技巧。会保持更新。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 916

【MySQL】MySQL 字段为 NULL 的5大坑

建立一张表。

寒潭清 1451

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【无标题】我的druid批量更新大坑

druid,批量更新

weixin_45961300的博客 1425

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

记录Access数据库更新操作大坑一个

  对于更新Access数据库的操作,必须保持参数数组与sql语句中参数顺序一致,如下: 1 public bool Update(MyModel model) 2 { 3 StringBuilder strSql = new StringBuilder(); 4 strSql.Append("update ta...

weixin_30415801的博客 1831

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

ClickHouse查询分布式表LEFT JOIN改RIGHT JOIN的大坑

ClickHouse查询分布式表LEFT JOIN改RIGHT JOIN的大坑 由一个慢查询衍生出的问题 我们线上有一个ClickHouse集群, 总共6个服务器, 配置均为16C 64G SSD, 集群配置为三分片两副本 有两个表这里称为small_table和big_table. 都是ReplicatedMergeTree引擎(三个分片两个副本). small_table有79w数据, big_table有5亿数据(数据在之后的示例中没有任何变化), 在下文中small_table和big_table都

FaN() 9254

【金仓数据库征文】MySQL迁移人大金仓V9异构迁移全链路性能调优与稳定性保障

本文详细记录了MySQL迁移至人大金仓数据库的实战调优全过程。针对迁移后性能下降、稳定性差等痛点,作者通过复现真实业务环境(126万订单数据、32万用户),系统性地解决了四大核心问题:百万级数据深分页性能提升64倍,JSON检索效率反超MySQL 8倍,大表聚合查询提速11.6倍,多表关联优化20倍。重点剖析了Windows平台特有的参数配置陷阱、KWR诊断工具报错等典型问题,形成包含SQL重构、索引优化、参数调校、锁阻塞排查的标准化调优体系。

byte轻骑兵的技术小窝 2万+
上一篇: 别再用 BeanUtils 了,这款 PO VO DTO 转换神器不香么?
下一篇: 线程池中线程抛了异常如何处理?
码趣资源网
博客等级 码龄4年 269粉丝 518原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值