sql T_sql 利用NOW_NUMBER和CTE 去除表中重复记录行

最新推荐文章于 2023-03-16 23:10:47 发布
最新推荐文章于 2023-03-16 23:10:47 发布
阅读量1.5w 收藏
点赞数
分类专栏： SQL Server 文章标签： sql insert null table
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenxinxian/article/details/5712819
版权
本文通过创建一个名为tbtest的表格并插入多条记录来演示SQL数据处理。使用了row_number()函数进行行编号，并展示了如何筛选出每个分组中的第一条记录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

create table tbtest

(

tid int null,

tname varchar(20) null

)

 

insert into tbtest values(1, 'aaa')

insert into tbtest values(2, 'aaa')

insert into tbtest values(2, 'aaa')

insert into tbtest values(2, 'aaa')

insert into tbtest values(3, 'bbb')

insert into tbtest values(3, 'bbb')

insert into tbtest values(4, 'ccc')

insert into tbtest values(4, 'ddd')

insert into tbtest values(5, 'eee')

 

select * from tbtest

 

go

 

with temp as

(

    select tid,tname,row_number() OVER (PARTITION BY tid, tname ORDER BY tid) as rownumber from tbtest

)

select * from temp where rownumber=1

 

SQL NOW() 函数详解
lsx202406的博客
01-31 827
NOW()函数返回当前的日期和时间，格式为。在大多数数据库系统中，如 MySQL、PostgreSQL、SQL Server 等，都支持此函数。NOW()函数是SQL数据库中一个常用的日期和时间函数，用于获取当前的时间戳。本文详细介绍了NOW()函数的用法、参数、返回值以及在实际应用中的注意事项。希望本文能帮助您更好地理解和应用NOW()函数。
SQL ROW_NUMBER函数概述
culuo4781的博客
07-18 2557
In this article, we’re going to discuss the SQL ROW_NUMBER function. This is a continuation of the SQL essential series. In this guide, I’ll explain what a window function is all about, and you’ll...
SQL去除重复记录（七种）
09-09
本文主要介绍了SQL去除重复记录的七种方法。具有很好的参考价值，下面跟着小编一起来看下吧
用CTE处理表重复数据的更新和删除
数据库天地
07-26 132
--> --> (Roy)生成測試數據 set nocount on ; if not object_id('Tempdb..#T') is null drop table #T Go Create table #T([Num] int,[Name] nvarchar(1)) Insert #T select 1,N'A' union all select 1,...
sqlserver 去除重复的数据
ruiguang21的博客
10-12 812
select * from lcsy_SettingPrivilege where  SellerId=7 SELECT MAX(pid) as '最大标识ID',SellerId,PType,status,mtype,modName,picture,minipicture FROM lcsy_SettingPrivilege where  SellerId=7 group by SellerI
SQL2005CTE做无标识重复记录删除，让你的sql看起来更简单
weixin_30402085的博客
03-30 92
有些表设计没有标识，没有主键，删除起来一直是个麻烦的事情，而CTE的运用却让这件事情变得简单。 create table CreDelete ( id int identity(1,1), name varchar(10) ) go insert into CreDelete select '张三' as name union all select '王2' unio...
sql server 删除重复的数据
景上 的博客
07-11 607
1–删除name,sex重复的数据,只留下一条数据；select * into #lin1 from student --先将student的数据插入临时表#lin1中； select min(id) as iidd into #lin2 from student group by name,sex --根据name,sex分组，并获取每组中最小的id； select * from stud
SQL Server中SQL COUNT和COUNT_BIG概述
culuo4781的博客
07-24 2585
In this article, we’ll walk-though two other important SQL aggregate function, SQL COUNT and COUNT_BIG. In the previous article of this series, we covered how to retrieve data, join tables, work w...
数据仓库开发 SQL 使用技巧总结
Linuxhus的博客
07-19 717
特点多路平衡树，m 个子树中间节点就包含 m 个元素，一个中间节点是一个 page(磁盘页) 默认 16 kb；子节点保存了全部得元素，父节点得元素是子节点的最大或者最小元素，而且依然是有序得；节点元素有序，叶子节点双向有序，便于排序和范围查询。优势平衡查找树，logn 级别 crud；单一节点比二叉树元素更多，查询 io 次数更少；所有查询都要查询到叶子节点性能稳定；所有节点形成逻辑有序链表，便于排序查询范围查询。索引优化索引是提升性能主要手段，主要用到的索引基本为以下三种：聚簇索引一般表会用自增主键做聚
用CTE结合排名函数rank()删除某列值重复的记录
weixin_30892987的博客
11-09 305
　　　　 1.认识排名函数--不分组，直接对整张表的某列的值进行排名，并产生一个排名值SELECT ROW_NUMBER() OVER(ORDER BY a.Name) AS rowNumber,a.Name FROM dbo.ReplyData a --PARTITION BY a.NAME,根据Name字段进行分组，再按num进行排名SELECT ROW_NUMBER() OVER(PA...
使用SQL语句去掉重复的记录【两种方法】
12-16
海量数据（百万以上），其中有些全部字段都相同，有些部分字段相同，怎样高效去除重复？ 如果要删除手机(mobilePhone)，电话(officePhone)，邮件(email)同时都相同的数据，以前一直使用这条语句进行去重： delete from 表 where id not in (select max(id) from 表 group by mobilePhone,officePhone,email ) or delete from 表 where id not in (select min(id) from 表 group by mobilePhone,officePhone,em
number
学习笔记
04-25 447
题目描述 某人刚学习了数位DP，他在某天忽然思考如下问题： 给定n，问有多少数对<x, y>满足： x, y∈[1, n], x < y x, y中出现的[0, 9]的数码种类相同 输入 一个整数n (n <= 107) 输出 输出一个数即答案 样例输入 30 样例输出 3 提示 <1, 11> <2,...
第61章 SQL NOW() 函数教程
01-31 667
NOW() 函数return 当前系统的日期和时间。
sql函数--04---ROW_NUMBER() OVER()函数用法详解
时光里的博客
10-26 2万+
ROW_NUMBER() OVER()函数 使用范围: 这个函数可以Oracle中使用 MySQL用不了 语法格式： row_number() over(partition by 分组列 order by 排序列 desc) 注意: 在使用 row_number() over()函数时候，over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。 案例 1 表数据： create table TEST_ROW_NUMBER_OVER(
第九十九章 SQL函数 NOW
yaoxin521123的博客
04-02 3259
文章目录第九十九章 SQL函数 NOW大纲描述精度的小数秒其他当前时间和日期功能示例 第九十九章 SQL函数 NOW 返回当前本地日期和时间的日期/时间函数。 大纲 NOW() {fn NOW} {fn NOW()} 描述 NOW 不接受任何参数。参数括号对于 ODBC 标量语法是可选的；它们对于 SQL 标准函数语法是必需的。 NOW 以时间戳的形式返回该时区的当前本地日期和时间；它会根据本地时间变体进行调整，例如夏令时。 NOW 可以返回 %TimeStamp 数据类型格式 (yyyy-mm-dd
SQL：数据去重的三种方法
热门推荐
qq_35091353的博客
11-12 15万+
SQL中去除重复数据
SQLService删除重复的数据
superblade12的博客
03-16 3041
SQLService删除重复的数据
row_ number over函数的基本用法
lolichan的博客
08-13 2696
  函数语法： ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) 函数作用：从1开始，为按组排序的每条记录添加一个序列号  函数只能用于select和order by子句中 不能用在where子句   不分组排序 不进行分组时语法为ROW_NUMBER() OVER(ORDER BY COLUMN)，如： 有一个表A就一个...
CREATE DEFINER=`zd_shiwenchao`@`10.212.1.15` PROCEDURE `JGJS_RADS_EAST_CHECK`() BEGIN -- 1、声明变量 DECLARE DONE INT DEFAULT FALSE; DECLARE V_SERIAL VARCHAR(50); -- 标记游标循环是否完成 DECLARE V_TABLE VARCHAR(255); -- 存储从CHECKRULES表中获取的表名 DECLARE V_SQL TEXT; -- 存储从CHECKRULES表中获取的SQL语句 DECLARE V_DATAITEMNAME VARCHAR(255); -- 存储列名（COLUMNNAME） DECLARE V_COMMIT INT DEFAULT 1; -- 定义事务用，1为正常，-10为失败 DECLARE V_MSG TEXT; -- 记录错误信息 DECLARE V_CNT INT; -- 用于记录成功时的数据量 DECLARE V_ENDDATE DATETIME DEFAULT NOW(); -- 记录当前时间 DECLARE CUR CURSOR FOR SELECT SERIALNUMBER, TABLENAME, DATAITEMNAME, SQLSTATEMENT FROM JGJS_RADS_CHECKSQL WHERE ISACTIVE = 1; -- 2、异常处理 DECLARE CONTINUE HANDLER FOR NOT FOUND SET DONE = TRUE; DECLARE CONTINUE HANDLER FOR SQLEXCEPTION BEGIN GET DIAGNOSTICS CONDITION 1 V_MSG = MESSAGE_TEXT; SET V_COMMIT = -10; ROLLBACK; -- 发生异常时回滚事务 END; -- 3、开始事务 START TRANSACTION; -- 4、打开游标 OPEN CUR; READ_LOOP: LOOP FETCH CUR INTO V_SERIAL, V_TABLE, V_DATAITEMNAME, V_SQL; IF DONE THEN LEAVE READ_LOOP; END IF; -- 5、动态执行SQL并统计错误数 SET @DYNAMIC_SQL = CONCAT( 'INSERT INTO JGJS_RADS_CHECKRESULT (SERIALNUMBER, TABLENAME, COLUMNNAME, ERROR_COUNT) ', 'SELECT ''', V_SERIAL, ''', ''', V_TABLE, ''', ''', V_DATAITEMNAME, ''', COUNT(*) ', 'FROM (', V_SQL, ') AS VALIDATION_RESULTS' ); PREPARE STMT FROM @DYNAMIC_SQL; EXECUTE STMT; DEALLOCATE PREPARE STMT; END LOOP; CLOSE CUR; -- 6、根据事务状态提交或回滚 IF V_COMMIT = -10 THEN ROLLBACK; -- 事务异常回滚 -- 7、记录报错信息到日志表 INSERT INTO JGJS_RADS_CHECKRESULT (SERIALNUMBER, TABLENAME, COLUMNNAME, ERROR_COUNT, DEALSTATUS, REMARK, CHECKTIME) VALUES ('SYSTEM', 'SYSTEM', 'SYSTEM', 0, 'ERROR', V_MSG, NOW()); ELSE -- 事务正
最新发布
03-11
<think>嗯，用户问的是如何调试和优化MySQL存储过程JGJS_RADS_EAST_CHECK，特别是游标操作和动态SQL部分。首先，我需要回忆一下存储过程调试和优化的基本方法。调试的话，MySQL不像其他数据库有内置的调试工具，可能需要用SELECT或者日志表来输出变量值，逐步排查问题。优化方面，游标通常性能较差，特别是当处理大量数据时，可以考虑用集合操作代替游标循环。另外，动态SQL如果拼接不当，可能会有注入风险或者效率问题，需要检查是否使用了预处理语句，或者是否有不必要的重复解析。 然后，我需要结合用户提供的引用内容。引用1提到有很多嵌套判断和临时表，导致查询速度慢，子查询多。这可能意味着存储过程中存在类似的复杂结构，导致性能问题。所以优化时要注意减少临时表的使用，简化查询结构。引用3是关于Java导出Excel的，可能和当前问题无关，但引用5提到分数傅里叶变换用于加密，可能也不相关。引用2和4可能也不直接相关，但需要确保回答不涉及这些内容。 接下来，思考具体步骤。调试部分应该包括如何设置断点，输出变量状态，检查游标是否正常打开和获取数据。动态SQL部分需要检查拼接是否正确，是否有语法错误，或者执行计划是否合理。优化部分可能需要将游标改为批量处理，使用JOIN或者临时表来替代逐行处理，同时分析执行计划，添加合适的索引。 另外，用户提到的存储过程名称JGJS_RADS_EAST_CHECK可能涉及特定的业务逻辑，比如数据校验或报告生成，可能需要考虑业务场景下的优化，比如是否所有数据处理都是必要的，或者是否可以分批处理。 还需要考虑存储过程中的事务管理，是否有不必要的长时间锁定，或者是否可以减少事务的范围来提高性能。动态SQL的执行是否可以使用绑定变量来减少解析开销，或者是否有重复执行的动态SQL可以缓存。 最后，生成相关问题时要围绕存储过程调试、游标优化、动态SQL效率、索引优化等方面展开，确保问题有针对性，帮助用户深入理解可能的优化方向。</think>### 调试和优化MySQL存储过程JGJS_RADS_EAST_CHECK的步骤 #### 一、调试方法 1. **逐段隔离执行** 将存储过程拆分为多个独立代码块，通过`SELECT`语句输出中间变量值或游标状态。例如： ```sql SELECT CONCAT('游标状态:', @cursor_status); -- 输出游标状态 ``` 若涉及动态SQL，可先单独执行拼接后的SQL语句，验证其正确性[^1]。 2. **错误日志追踪** 使用`DECLARE CONTINUE HANDLER`捕获异常并记录到日志表： ```sql CREATE TABLE error_log (msg TEXT, time TIMESTAMP); DECLARE EXIT HANDLER FOR SQLEXCEPTION BEGIN INSERT INTO error_log VALUES (CONCAT('错误代码:', SQLSTATE), NOW()); END; ``` 3. **动态SQL调试** 将动态SQL字符串暂存到变量后打印： ```sql SET @dynamic_sql = CONCAT('SELECT * FROM ', table_name); SELECT @dynamic_sql; -- 输出检查拼接结果 PREPARE stmt FROM @dynamic_sql; ``` #### 二、游标优化策略 1. **避免嵌套游标** 多层游标会导致时间复杂度呈指数增长。若必须使用，尝试： - 限制数据集规模（如添加`WHERE`条件） - 使用临时表存储中间结果，例如： ```sql CREATE TEMPORARY TABLE temp_data AS SELECT ...; -- 减少实时计算 ``` 2. **批量处理替代逐行操作** 将游标的逐行处理改为集合操作。例如原游标逻辑： ```sql OPEN cur; read_loop: LOOP FETCH cur INTO var; UPDATE table SET col = var WHERE ...; END LOOP; ``` 可优化为： ```sql UPDATE table JOIN source_table ON ... SET table.col = source_table.value; -- 单语句完成批量更新 ``` 3. **索引优化** 确保游标查询涉及的字段已建立索引： ```sql EXPLAIN SELECT ...; -- 分析游标基础查询的执行计划 ``` #### 三、动态SQL优化建议 1. **预编译语句** 使用`PREPARE`/`EXECUTE`减少解析开销： ```sql SET @sql = 'SELECT * FROM table WHERE id = ?'; PREPARE stmt FROM @sql; SET @param = 100; EXECUTE stmt USING @param; -- 参数化避免重复解析 ``` 2. **减少临时表嵌套** 动态SQL中过多的临时表会导致内存压力。参考引用[1]中提到的嵌套问题，可通过`WITH`子句（CTE）简化复杂查询： ```sql WITH temp1 AS (SELECT ...), temp2 AS (SELECT ... FROM temp1) SELECT * FROM temp2; -- 替代多级临时表 ``` 3. **字符串拼接优化** 使用`CONCAT_WS`代替多次`CONCAT`，避免NULL值问题： ```sql SET @where_clause = CONCAT_WS(' AND ', IF(param1 IS NOT NULL, 'col1 = param1', NULL), IF(param2 IS NOT NULL, 'col2 = param2', NULL) ); ``` #### 四、性能验证工具 1. **执行时间分析** ```sql SET profiling = 1; CALL JGJS_RADS_EAST_CHECK(); SHOW PROFILES; -- 显示各步骤耗时 ``` 2. **锁监控** 通过`SHOW ENGINE INNODB STATUS`检查是否存在行锁竞争。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值