SQLSERVER中快速获海量数据的记录总数

最新推荐文章于 2024-05-22 17:18:17 发布
原创 最新推荐文章于 2024-05-22 17:18:17 发布 · 865 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqlserver #数据库 #image #dell #服务器 #table

本文介绍了一种在SQLServer中快速统计大量数据记录数的方法。通过利用sysindexes系统表中的rows字段，可以避免使用传统的SELECT COUNT(*) FROM table语句带来的性能瓶颈。此方法特别适用于记录数超过百万的大表。

最近有同事遇到sqlserver统计记百万条以上记录条数太慢的问题，sp经常会遇到统计大量数据问题，或许是巧合的原因，找到一个很简单的方法！

写了一篇文章

我们在统计记录的时候通常的做法是：select count(*) as c from table 。然而对于记录数巨大的表，上述做法将会非常耗时。在DELL 4400 服务器上做试验，MS Sqlserver 2000 数据库对于100万记录的简单数据表执行上述语句，时间在1分钟以上。如果在表的某个字段上做聚簇索引，第一次执行该语句的时间和没有索引的时间差不多，之后执行上述语句，速度很快，在1秒中以内，但当表的记录数发生较大变化后，再执行该语句又会经历一次耗时的过程。而且不是每个表都适合做聚簇索引的，对于数量巨大的表，如果需要经常增删操作，建聚簇索引是一个很不明智的做法，将会极大的影响增删的速度。那么有没有一个比较简单的方法快速获取表的记录总数呢？答案是有的。 在MS SQL 数据库中每个表都在sysindexes 系统表中拥有至少一条记录，该记录中的rows 字段会定时记录表的记录总数。下面是sysindexes 表的相关记录的含义：

列名 数据类型 描述id int 表ID(如果 indid = 0 或255)。否则为索引所属表的IDIndid smallint 索引ID： 0＝表 1＝聚簇索引 >1＝非聚簇索引 255＝具有text或image数据的表条目。rows int 基于indid=0 和 indid=1地数据级行数，该值对于indid>1重 复。如果indid=255，rows设置为0。 当表没有聚簇索引时，Indid = 0 否则为 1。

SQLServer 分页分页查询优化方案，1秒内查询20万条数据的表
shenjqiang的专栏
11-25 3260
最近在做sql分页查询的话，发现数据表中的数据量非常大的话，使用count(*)去统计行数的话，还是非常慢的。20多万条数据的表，用count查询，大概在9秒左右。上图可以看到，同样的SQL语句，上面的就是1秒内查询出来的，是不是快了很多。下面也贴出来执行计划，有兴趣的小伙伴可以自己研究下了。服务器是4核8G内存的。上面这种写法，性能瞬间就提上来了，1秒内就查询了出来。
SQL查询效率：100w数据查询只需要1秒钟
08-20
在处理大量数据的时候提高数据查询的方法！
ＳＱＬＳＥＲＶＥＲ海量数据库的查询优化及分页算法
热门推荐
domino的专栏
02-01 1万+
探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构：CREATE TABLE [dbo].[TGongwen] (    --TGongwen是红头文件表名   [Gid] [int] IDENTITY (1, 1) NOT NULL ,--本表的id号，也是主键   [titl
[sqlserver]超大单表快速查询总行数(历史数据)
12-03 356
use [database] select schema_name(t.schema_id) as [Schema], t.name as TableName,i.rows as [RowCount] from sys.tables as t, sysindexes as i where...
SQL Server中的SQL查询优化技巧
老任物联网杂谈的专栏
07-15 947
1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：　　select id from t where num i
搞懂 SQL 查询优化原理分析，秒速处理大数据量查询
ITMuch的专栏
10-01 334
点击上方IT牧场，选择置顶或者星标技术干货每日送达有一张财务流水表，未分库分表，目前的数据量为9555695，分页查询使用到了limit，优化之前的查询耗时16 s 938 ms ...
SQLSERVER 获取rowcount最高效率SQL语句
泉水依然
07-05 392
SELECT o.NAME,    i.rowcnt    FROM sysindexes AS i    INNER JOIN sysobjects AS o ON i.id = o.id    WHERE i.indid < 2    AND OBJECTPROPERTY(o.id, 'IsMSShipped') = 0   ORDER BY o.NAME ...
大量查询SQL语句 实例
weixin_30338461的博客
06-28 668
1、查看表结构语句：DESC 表名 2、查询所有列：select * from 表名 3、查询指定列：select 字段名 form 表名 4、查询指定行：SELECT*from 表名 WHERE 字段名=值 5、模糊查询：SELECT*from 表名 WHERE 字段名 LIKE"%要查询的值%" //%表示一个或多个字符，_表示...
挖出一些分页查询的秘密
bisal的专栏
11-30 354
今天看下分页查询这个知识点，能挖出什么样的知识。测试表中符合条件的记录共32条，如果需要得到第10到第20条的记录，我们能怎么做？SQL> select rownum, emplo...
访问数据库遇大批量数据时，如何做到快速查询？
StarryS_k_y_的博客
05-22 1140
执行该条语句，看到命令已成功完成，表示该条语句生效。执行该条语句，看到命令已成功完成，表示该条语句生效。在执行完之后，再次按条件查询，能发现查询速度提升。在数据库中输入如下指令：其中列名为我们要查询的列。drop Index 数据库表名.XX_列名。create Index XX_列名。在执行完之后，创建的索引被删除。on 数据库表名(列名)use [数据库名]use [数据库名]
【数据库，索引，大批数据查询】
L-BAKE
09-06 781
<br />全表扫描是否头疼是由你需要返回的订单列表数量决定的。大结果集全表扫描效率比较高。小结果集索引效率比较高。
sql 大数据量查询
wjq008的专栏
03-20 935
在对于一些大数据量进行处理时，有些时候会引起索引无效而使得引起全表扫描，现在总结一下，希望对大家有所帮助
SQL大量数据查询的优化
AlbenXie的博客
08-17 566
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： sel
一个简单的数据量很大的表查询最新数据的sql思路
BLACK_CAT__的博客
08-04 1633
现在碰到过这样一个需求： 数据表是一张财务流水报告表,表明为 qtty_sheet ，数据量比较大，而且历史不同的报表日期的项目对应的金额数值可能会发生变化，这张表市增量更新的，需要将数据表中的最新数据拿出来进行展示，数据表的数据样式如图： 主键id proj_name(项目名称) value(项目对应的金额) report_dt(报表日期) data_dt(数据日期） 0001 营销金额 1000 20210701 20210715 0001
数据库查询各个表占用内存
weixin_43998184的博客
04-18 425
3、查询某数据库中的所有数据表及其数据总条数所占用的空间大小。2、查询某数据库中的所有数据表及其数据总条数。1、查询某数据库中的所有数据表。6、查看某一个数据库的文件大小。4、查询数据库文件路径信息。5、查询数据库文件大小。
SQL　快速统计表记录总数
wskiigu的专栏
05-15 591
select @Counts =rows from sysindexes where id = object_id('IpAddress') and indid in (0,1)
SQL大量数据查询优化--三十则
LDC_JJU的博客
10-30 495
百万数据查询优化技巧三十则 1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然
查询id最大的数据sqlserver
最新发布
07-17
<think>我们被要求使用中文回答，并且需要根据用户的问题“在SQL Server中查询具有最大ID的数据”来提供解决方案。用户的问题很明确：如何获取ID最大的记录。 根据引用内容，我们可以知道： 引用[1]讨论了快速获取表的记录总数的方法，但用户的问题不是关于记录总数，而是关于最大ID的记录。 引用[2]讨论了如何获取插入记录后的自增ID（自动编号），其中提到了几个函数：@@IDENTITY, SCOPE_IDENTITY(), IDENT_CURRENT。但这里用户不是要获取刚插入的记录，而是查询表中已有的最大ID的记录。 引用[3]展示了一个查询不重复id的数据记录的例子，但用户的问题是关于最大ID的记录，而不是去重。 因此，我们主要依靠自己的知识来回答。 在SQL Server中，要查询具有最大ID的记录，通常有两种常见方法： 1. 使用子查询：先查询出最大的ID，然后根据这个ID去查询记录。 2. 使用TOP 1和ORDER BY：按ID降序排序，取第一条。 但是需要注意，如果最大ID有多条记录（虽然ID通常是唯一的，但如果是其他非唯一列，用户可能是指其他列的最大值？），但用户明确说是“ID最大的记录”，我们假设ID是主键或唯一列，所以最大ID只有一条。 因此，我们可以这样写： 方法1： ```sql SELECT * FROM 表名 WHERE ID = (SELECT MAX(ID) FROM 表名) ``` 方法2： ```sql SELECT TOP 1 * FROM 表名 ORDER BY ID DESC ``` 方法2的效率通常比方法1高，因为方法1需要先执行子查询得到一个最大值，然后再用这个值去查询，而方法2只需要一次排序并取第一条。 但是，如果ID列上有索引，那么两种方法都会很快，因为MAX()函数可以利用索引，而ORDER BY DESC也可以利用索引。 另外，如果表非常大，方法2可能更优，因为避免了两步操作。 所以，我们推荐使用第二种方法。 但是，用户的问题中没有指定表名，所以我们需要用占位符（如表名）代替。 因此，回答如下：</think>### SQL Server 查询最大ID记录的解决方案 在 SQL Server 中获取 ID 最大的记录，可通过以下两种高效方法实现（假设 `ID` 是自增主键或唯一列）： #### 方法 1：使用 `TOP 1` 和 `ORDER BY`（推荐） ```sql SELECT TOP 1 * FROM 表名 ORDER BY ID DESC ``` **原理**： 通过 `ORDER BY ID DESC` 将记录按 ID 降序排列，`TOP 1` 取第一条（即最大值）。当 `ID` 列有索引时性能最优，时间复杂度约为 $O(\log n)$[^1]。 #### 方法 2：使用子查询 ```sql SELECT * FROM 表名 WHERE ID = (SELECT MAX(ID) FROM 表名) ``` **原理**： 子查询 `SELECT MAX(ID)` 先获取最大 ID 值，再匹配记录。适合无索引场景，但需扫描两次表（全表扫描时间复杂度 $O(n)$）[^2]。 --- ### 性能对比与建议 | 方法 | 索引依赖 | 百万数据耗时 | 适用场景 | |------------|----------|--------------|------------------------| | `TOP 1` | 必需 | < 10ms | 常规场景（推荐） | | 子查询 | 无需 | ~100ms | 无索引或极小表 | **优化建议**： 1. 确保 `ID` 字段建立聚簇索引（默认主键即聚簇索引） 2. 避免在 `WHERE` 中使用函数计算（如 `WHERE ID = MAX(ID)-1`） 3. 海量数据时分页查询替代全量获取 > ⚠️ 注意：若表存在分区或过滤条件，需在 `ORDER BY` 和 `WHERE` 中同步添加条件[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值