分页存储过程的一点心得

MMSE (Minimum Mean Square Error)均衡原理讲解 MMSE是一种将接收数据的MSE(均方误差)最小化的模型。有了这句话,很多问题就会在你的脑海中蹦出来。 什么是均方误差?最小化MSE "的物理含义是什么? 等等。 让我们从一个我们现在已经非常熟悉的通道模型开始。(我希望你现在也熟悉下面的表达方式。) MMSE作为一种均衡器,是一种后处理算法,它可以帮助我们找出接收到的数据,使之尽可能地接近原始数据(传输数据)。简而言之,MMSE中最重要的步骤是找到一个如下图所示的矩阵G。如果我们假设没有噪声,这个[G]矩阵可以简单的作为信道矩阵(H^-1)的倒数。但 阅读详情

   最近参与一个对原有MS SQLSERVER2000+ASP系统升级到.NET的开发项目。其中,针对某一个数据记录较多的表的查询用的比较多,而且该查询的条件组合比较复杂,包括分页,按特定字段排序,按特定条件查询。

  参考了netkillerbaseSQL Server 存储过程的分页,开始决定采用效率最高的“方案二”,即通过ID标识来比较大小,从而快速检索出所需的记录。

  为了方便读者,我在这里简单列出前面列出的参考文章中的3种分页查询存储过程的核心T-SQL语句:

方案一:
SELECT TOP 页大小 *
FROM TestTable
WHERE (ID NOT IN
(SELECT TOP 页大小*页数 id
FROM 表
ORDER BY id))
ORDER BY ID

方案二:
SELECT TOP 页大小 *
FROM TestTable
WHERE (ID >
(SELECT MAX(id)
FROM (SELECT TOP 页大小*页数 id
FROM 表
ORDER BY id) AS T))
ORDER BY ID

方案三:(利用SQL的游标存储过程分页)
create procedure XiaoZhengGe
@sqlstr nvarchar(4000), --查询字符串
@currentpage int, --第N页
@pagesize int --每页行数
as
set nocount on
declare @P1 int, --P1是游标的id
@rowcount int
exec sp_cursoropen @P1 output,@sqlstr,@scrollopt=1,@ccopt=1,@rowcount=@rowcount output
select ceiling(1.0*@rowcount/@pagesize) as 总页数--,@rowcount as 总行数,@currentpage as 当前页
set @currentpage=(@currentpage-1)*@pagesize+1
exec sp_cursorfetch @P1,16,@currentpage,@pagesize
exec sp_cursorclose @P1
set nocount off

上文作者使用查询分析器比较过3种方案,结论如下:
分页方案二:(利用ID大于多少和SELECT TOP分页)效率最高,需要拼接SQL语句
分页方案一:(利用Not In和SELECT TOP分页) 效率次之,需要拼接SQL语句
分页方案三:(利用SQL的游标存储过程分页) 效率最差,但是最为通用

  按照“方案二”写好查询存储过程后,测试中发现按照某些字段排序时,会出现记录遗漏的情况。经过分析表中的记录发现,原来是因为该字段内的值有重复,即用来排序的字段不能作为标识来比较大小。

  找到原因后,对方案二和方案一进行了一个整合。先使用方案二中的排序字段的大小比较,来初步筛选符合条件的记录,然后再使用方案一中的ID标识来验证找到记录是否合法。最后得到的T-SQL语句类似如下:

SELECT TOP 页大小 *
FROM TestTable
WHERE (ordercol >= SELECT MAX(ordercol)
FROM (SELECT TOP 页大小*页数 ordercol
FROM TestTable
ORDER BY ordercol ))  and (ID NOT IN
(SELECT TOP 页大小*页数 id
FROM TestTable
ORDER BY ordercol))
ORDER BY ordercol

  这种方式继承了“方案一”的缺点,即在记录数相当大,而且页码靠后时,(SELECT TOP 页大小*页数 id
FROM TestTable ORDER BY ordercol)所得到的记录集会消耗相当大的内存。但是,于此同时,前面先进行的比较判断(ordercol >= SELECT MAX(ordercol) FROM (SELECT TOP 页大小*页数 ordercol FROM TestTable
ORDER BY ordercol ))所得到的记录数量却并不大,加上比较查询的效率远远高于not in,所以最终的执行效率还是可以让人接受的。

  实际项目所使用的表中有1万多条记录,采用该分页存储过程查询倒数前5页,查询执行时间低于1秒。而原来的asp程序使用recordset的move方法,查询执行时间超过2秒。

Open3D 点云数学形态学滤波(Python版本) 阅读详情

相关推荐

保姆级教程:用CANoe的LIN Slave Conformance Tester搞定一致性测试(附LDF配置避坑点)

本文详细介绍了如何使用CANoe的LIN Slave Conformance Tester进行汽车电子LIN从节点一致性测试,包括测试环境搭建、LDF文件配置、多通道测试技巧及常见问题解决方案。通过实战案例和高级配置技巧,帮助工程师高效完成测试任务,确保LIN总线通信的可靠性。

weixin_30385925的博客 528

sql分页查询越往后越慢

背景 我们在开发的过程中使用分页是不可避免的,通常情况下我们的做法是使用limit加偏移量: select * from table where column=xxx order by xxx limit 1,20。 当数据量比较小时(100万以内),无论你翻到哪一页,性能都是很快的。如果查询慢,只要在 where条件和order by 的列上加上索引就可以解决。但是,当数据量大的时候(小编遇到的情况 是500万数据),如果翻到最后几页,即使加了索引,查询也是非常慢的,这是什么原因导致的呢?我们该如何解决呢

qq_38800939的博客 2928

深入解析路科验证V0实验lab1:SV接口与时钟块实战

本文深入解析了路科验证V0实验Lab1的核心内容,重点阐述了SystemVerilog接口与时钟块在验证环境搭建中的关键作用。通过拆解router_io接口设计、时钟块同步机制及程序块封装,详细讲解了如何构建稳定可靠的验证通信基础,并提供了复位时序分析与常见调试技巧,为后续复杂验证打下坚实基础。

peach的博客 433

分页查询慢的优化方式

分页查询也是我们项目中经常使用的查询方式,那么如何优化呢?

Java程序媛,欢迎大家一起交流学习~ 4060

SAP各模块表清单及逻辑关系介绍

分享韩国同行总结的各模块的表清单及逻辑关系,这对ABAP顾问和各模块业务顾问应该非常有用的 物料主数据 SD与MM PS模块 PP模块 QM模块 CO模块 FI模块

weixin_40672823的博客 9601

基于数字图像处理方法的迷宫问题图解 : 基于骨架提取、四邻域

问题是,这条红色的线是人为标记出来的能通的路线,对计算机来看,黑色和红色的线没有任何差异,所以之前的想法压根不起作用。对应于数字图像的表达,就是从远离主干的分支端点出发,如果4邻域中只有一个可以通的道路,那么这个点在分支上。闪电划过,有一道连接了天空和大地,就是迷宫的解,其余的分支就是迷宫中对应的死路。类似这个闪电图,假设图中最粗的主干(迷宫解的路线)是最先形成的,其余的细小的分支是慢慢从主干上形成的。因此,只要在端点的4邻域中,找到可以走的道路,那么一定就是分支,也就是要移除的路线。

Henry的博客 2076

SqlServer存储过程分页:大数据量分页存储过程效率测试附代码

<br /><br />在项目中,我们经常遇到或用到分页,那么在大数据量(百万级以上)下,哪种分页算法效率最优呢?我们不妨用事实说话。<br /> <br /> <br />测试环境<br /> <br />硬件:CPU 酷睿双核T5750 内存:2G<br /> <br />软件:Windows server 2003 + Sql server 2005<br /> <br /> <br />OK,我们首先创建一数据库:data_Test,并在此数据库中创建一表:tb_TestTable<br /> <b

枫若流鸿 761

【Android 11】使用Android Studio调试系统应用之Settings移植(五):编译Settings 模块、解决编译错误

基于Andorid 11,系列第5篇文章,本章开始,终于轮到解决正主Settings的编译问题了,使用android studio编译出Settings.apk,能看到这一章的同学,也着实不容易了,再接再厉

上周的博客 3920

SQL Server查询优化方法(查询速度慢的原因很多,常见如下几种)

在开发的朋友特别是和mysql有接触的朋友会碰到有时mysql查询很慢,当然我指的是大数据量百万千万级了,不是几十条了,下面我们来看看解决查询慢的办法。   MySQL查询优化:查询慢原因和解决方法   会经常发现开发人员查一下没用索引的语句或者没有limit n的语句,这些没语句会对数据库造成很大的影响,例如一个几千万条记录的大表要全部扫描,或者是不停的做filesort,对数据库和服务

5708

华为OD机试 - 城市聚集度(Python/JS/C/C++ 2025 A卷 200分)

华为OD机试 2025A卷题库疯狂收录中,刷题。

学Java,找哪吒 1132

YOLO26涨点改进 | NeurIPS2025最佳论文!注意力改进篇| 引入Gated Attention门控注意力模块、太牛了!直接拯救了大模型的发展,助力目标检测、图像分割、图像分类有效涨点

本文提出了一种基于门控注意力机制(GatedAttention)的YOLO26模型改进方法。该方法在标准softmax注意力机制中引入头部特定的sigmoid门控,通过增强注意力机制使模型更聚焦于关键信息。实验表明,该模块能显著提升模型性能,特别是在复杂背景和密集目标场景中,同时减少无关区域关注并提高检测精度。门控机制引入的非线性和稀疏性不仅提升了推理效率,还改善了训练稳定性,使模型能采用更大学习率并增强扩展性。此外,该方法有效缓解了"注意力下沉"现象,增强了模型对长距离目标的感知能力。

Ai缝合怪、助力小伙伴高效发论文 659

如何解决存储过程中关联临时表时快时慢的情况

调用一个存储过程,同样的条件,数据库负载也是正常的情况下,时快时慢。原因是数据库无法获取临时表的统计信息,导致执行计划会走错。之前写过一个帖子,被临时表坑了,http://blog.youkuaiyun.com/stevendbaguo/article/details/39964807,就是用hint /*+ dynamic_sampling(T 10) */ 来做动态采集,这种解决方案实践证明还是没

关注系统性能调优 3360

基于DRU-HVDC的构网型海上风电场环流机理仿真复现

本文介绍了基于DRU-HVDC的构网型海上风电场环流机理仿真模型的构建方法。主要内容包括: 完整的Simulink模型结构,包含主模型文件GFM_DRU_Main.slx和配置脚本GFM_DRU_Setup.m 系统参数设置,包括基础频率(20Hz)、电压基准值(690V)、功率基准值(2MVA)等 四种仿真场景配置:电压不平衡、相位不平衡、阻抗不平衡和频率不平衡 风力发电机(WT)子系统的详细构建步骤,包含电压源、输出阻抗和测量模块 变压器和DRU整流器的参数设置 该模型可用于研究构网型风电场的环流机理。

huanghm88的专栏 263

SQLServer分页存储过程的一点心得

   最近参与一个对原有MS SQLSERVER2000+ASP系统升级到.NET的开发项目。其中,针对某一个数据记录较多的表的查询用的比较多,而且该查询的条件组合比较复杂,包括分页,按特定字段排序,按特定条件查询。  参考了netkillerbaseSQL Server 存储过程的分页,开始决定采用效率最高的“方案二”,即通过ID标识来比较大小,从而快速检索出所需的记录。  为了方便读者

minisunny的专栏 1093

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

SQL 分页存储过程实战指南

在数据库应用中,分页是一种常见的需求,特别是在展示大量数据时。使用 SQL 存储过程实现分页不仅可以提高查询效率,还能增强代码的可维护性和安全性。本文将介绍如何使用 SQL 存储过程实现分页查询。

DotNet技术匠 1592

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

分页存储过程实例剖析心得

最近修改了个分页存储过程,作为菜鸟,还是从中获益良多,这里就开始今天的分页之旅了。 1.开始还原 下面先看一下原来的分页存储过程。 View Code 1 ALTER PROCEDURE [dbo].[sp_Sql_Paging] 2 ( 3 @SqlDataTable NVARCHAR(4000), -- 表名 4 @Prima...

aclwajw600722的博客 157

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

分页存储过程

create  PROCEDURE sh_page/******************************************************************  中国无忧商务网千万数量级分页存储过程                     *****************************************************************参数

whtao的专栏 305

大数据量(已测500W或1000W数据)分页读取的一点心得体会

今日小弟在优快云论坛里发了个“500W数据分页性能测试”的帖子,想不到引起众多朋友的关注,于是打算写份心得体会~~~~本来测试的时候用的1000W数据测试,不过小弟的机器只有512的内存,用1000W,性能虽说也还很好,但我的机器却不能再干别的了,于是改为500W,但性能几乎没什么差别!只是1000W启动更慢,内存消耗更大~~500W消耗90多M,1000W就要消耗180多M…… 帖子地址:

y97523的专栏 5172

又一个通用分页存储过程,支持表别名,多表联合查询SQL语句

 好久没有上来写点东西了,今天正好有空,共享一些个人心得,就是关于分页的存储过程,这个问题应该是老生重谈了,网上的通用存储过程的类型已经够多了,但是,好象看到的基本上不能够满足一些复杂的SQL语句的分页(也可能是我不够见多识广啊,呵呵),比如下面这句select as CheckBox, A.TargetID, A.TargetPeriod, Convert(varchar(10

hanjiangxue的专栏 3767

SQL 存储过程---分页

 1.“俄罗斯存储过程”的改良版CREATE procedure pagination1(@pagesize int, --页面大小,如每页存储20条记录@pageindex int --当前页码)as set nocount onbegindeclare @indextable table(id int identity(1,1),nid int) --定义表变量declare

我地地盘 513

SpringBoot商超仓库管理系统开题报告:从业务逻辑到技术实现

开题报告是SpringBoot毕业设计项目的施工蓝图,尤其对于库存管理系统这类业务场景,清晰的技术方案比堆砌功能更重要。从概念上讲,一个合格的系统设计需先梳理供应商、入库单、出库单与库存流水表之间的数据关系,再通过事务与锁机制保证库存扣减的一致性。SpringBoot以其轻量配置和生态成熟度成为中小型管理系统的首选,但要注意版本选择,避免因springboot版本太高引发兼容性问题。结合MyBatis-Plus的CRUD能力和Vue前后端分离架构,可高效实现商超仓库的入库、出库、盘点、预警等核心链路。本文以

weixin_34122810的博客 417

Sql 数据分页解决方案

很多开始学习编程的朋友们在使用数据库自定义分页的时候,会遇到写不好数据分页存储过程的问题。这里我就自己的一点经验和学习心得提供几种数据库内分页的存储过程和大家分享一下。1、  使用top1.1利用当前记录号(currentnote)和分页页面大小(pagesize)进行分页  create proc GetNextPageInfo2@pagesize int,               --pa

『思路网格』 1663

oracle分页存储过程

在实际的应用中我们可以根据自己的想法用Oracle存储过程做一个页的相关的存储过程,下面的文章主要是和大家分享Oracle存储过程的经验心得,希望你能通此文章对其的实际操作有个更好的了解。 之所以用存储过程,是因为以后需要修改的话不需要修改程序代码,只需要修改Oracle存储过程的代码。但这个例子是在存储过程里动态生成的SQL语句,不知道会不会因此失去存储过程一次编译和快速的特点。代码如下: ...

ZQLCXY的博客 229

通用分页存储过程

 好久没有上来写点东西了,今天正好有空,共享一些个人心得,就是关于分页的存储过程,这个问题应该是老生重谈了,网上的通用存储过程的类型已经够多了,但是,好象看到的基本上不能够满足一些复杂的SQL语句的分页(也可能是我不够见多识广啊,呵呵),比如下面这句:select as CheckBox, A.TargetID, A.TargetPeriod, Convert(varchar(1

zhangbosun的专栏 841

分页存储过程心得体会

为了方便读者,我在这里简单列出前面列出的参考文章中的3种分页查询存储过程的核心T-SQL语句: 方案一: SELECT TOP 页大小 * FROM TestTable WHERE (ID NOT IN (SELECT TOP 页大小*页数 id FROM 表 ORDER BY id)) ORDER BY ID 方案二: SELECT TOP 页大小 * FR...

weixin_34237596的博客 95

菜鸟对于写分页的体会和思路

首先是因为在一些项目中经常要用到分页(真分页),所以我也写一下自己在学习分页中的一些技巧和心得体会。第一次学分页是在学校老师教我们用的一个分页控件"AspNetPager742DLL"  第三方分页插件下载。 这是老师教我的 主要是使用存储过程      --------------分页的SQL语句 和获取总条数 --------------- select ROW_NUMBER()OVE

宋晓华的专栏 2128
上一篇: BI构架及相关技术简介(下)
下一篇: 采用左右值编码来存储无限分级树形结构的数据库表设计
comiunknown
博客等级 码龄22年 58粉丝 36原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值