oracle动态表数据分页查询

最新推荐文章于 2023-04-26 17:19:16 发布
原创 最新推荐文章于 2023-04-26 17:19:16 发布 · 330 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

讨论了如何通过采用缓存、多线程、分区表、索引优化、统计表等技术来提高大数据查询效率，同时提出了改进数据结构设计的策略，包括分页查询优化、使用存储过程、避免使用 UNION 语句等方法。强调了通过合理设计和应用现代数据库技术，可以显著提升数据处理速度和用户体验。
from http://www.iteye.com/problems/94041
 
 
0 0

先做个物化试图。不行在分区。

2013年8月05日 16:00
 
0 0

同样提议改成分区表，保持逻辑不变的话，使用函数分区。 

PARTITION BY TO_CHAR(CreateTime, 'YYYYMM') 

效果和你现在手工分区一样。 

然后在检索条件的列上建个global index。这个数据量，不可能会有问题。 

再说使用分区表，程序里会更简单。 

话说你们都买了Oracle，还手工分区？！！ 

2013年4月21日 17:11
 
0 0

改用分区表吧

2013年4月12日 11:58
 
0 0

1:从你的表字段来看，单张表50万数据应该10m左右，也就是说一年的数据应该在在120m左右，所以做120m的缓存还是可行的(当然你的数据可能不仅是来源一张表，或是查询跨度很大，数据量很大，缓存需要就很大，这样可能会需要一些额外的投入了) 
2:从你的查询条件来看，跨越了3张表，数据量应该在100万的样子，或许你用了一条sql去查，但是我觉得1分多钟，实在让人难以忍受。 
  a:如果查询条件是时间段，考虑在时间字段上建索引（我看你查询条件是精确到日的，可以考虑对，对日期进行函数处理后，做该字段的 函数索引） 
  b:是否存在非必要的order by， 
  c:如果是union ，要在每个union 加上时间过滤 
  d:可以根据业务将数据进行合并，例如只允许查询最近5个月的数据，可以将最近五个月数据insert select 到一个表空间中。下次查询判断时间是否在临时表内，如果在，就直接查询，如果不在，就将不在范围的数据insert select 到临时表中。 
3:看看表空间利用情况吧，如果该数据库实例数据很大，表空间利用率很高（分表的数据文件可以放到不同的磁盘）

2013年4月12日 11:12
 
0 0

50万条记录,一页10条，他不翻的吐血了。 
如果不需要总页数的话，不需要count可以提高性能。 
比如可以先搜索一天的数据作分页，当翻到最后的时候，自动搜索下一天的数据，继续翻页.[最好把一天的数据cache到缓存，可以减少与数据库的交互].

2013年4月11日 16:35
 
0 0

建议用缓存+多线程，第一次查询的时候多起几个线程分别查询这几张表，将查询的几个大记录合并发送至缓存服务器，翻页的时候直接从缓存中取对应的开始序号到结束序号，我公司的系统（用户表有30张）就是这么搞的。

2013年4月11日 16:13
 
0 0

1、分页查数据 每次记录最后的PKID  
2、下次查询时 加上 pkid > 上次最大的id 
这样可缩小数据范围 而且每次取第一页 


40w不是很多  你执行下explain看下有没有走索引

2013年4月11日 15:52
 
0 0

你可以尝试使用存储过程，在里面根据条件查询出几张表共有多少条符合条件， 
每次去查询的时候不一定要查询几张表，而是根据条件去查询一张单独的表，要是有涉及到两张表以上的情况，则说明分页的数据可能跨越2张表或者是三张表，总之尽量查询一张表，只有查询的数据介于两张表之间，才去关联，这里面的存储过程应该比较复杂。

2013年4月11日 15:47
 
0 0

避免用union all/union这样的语句join后再套一层select和rownum之类的做分页 
如果除了时间外没有其他查询条件了，你可以建一些统计表，比如2月份多少条，3月份多少条，这样，然后看你要查第几页，直接定位到那张表 
如果有其他查询条件就很麻烦了，要统计各种查询条件下每张表有几条记录这样，当然如果条件可能性太多了，可能这个方法就不太方便了

2013年4月11日 15:43
 
 
Spring Boot进阶(15)：用Spring Boot实现动态数据库分页查询表结构信息！
**My Coding Family**
03-09 7007
Springboot如何根据数据库连接信息指定分页查询表结构信息，一文教会你。
Oracle 多表连接分页查询
09-15 1894
Background 在产线中，我们发现有很多group拥有大量的member（10K ~ 850K）。而现有的query group member API不仅不支持分页，而且在query 较大的group时，时常会出现超时的情况。所以重新设计一个新的支持分页的query group member API。 SQL Research 以下所有SQL的测试都是在Sql Developer上进行的，Oracle的版本为19c。 select * from v$versi...
oracle 动态分页,oracle动态分页函数
weixin_42513870的博客
04-04 305
create or replace procedure sp_exec_dynamic_page( /* 功能：实现动态分页 */ var_tablename in VARCHAR2, -- 表名 employees e,departments d var_tablecolumn in VARCHAR2, -- 查询列 a.employee_id,b.d...
Mybatis+MySQL动态分页查询数据经典案例（含代码以及测试）
穆雄雄的博客
03-18 1154
最近在用Mybatis做项目的时候遇到了不少问题，今天我就在这和大家分享一下，稀稀拉拉的研究了两天，终于搞好了！ 开发人员：1111 开发软件：Myeclipse 用到的框架技术：Mybatis 数据库：MySql 主要内容：动态分页查询数据 好了，现在开始演示，我先把代码贴上来以便大家的理解： mybatis-config.xml的主要配置内容： <...
oracle之完整的动态分页
Hello看我！
11-18 1411
-------------------------    create or replace package testpackage as type test_cursor is ref cursor; end testpackage; ------------------------------------------------ create or replace procedure
动态查询和分页
01-11 198
一、xml配置 <!-- 获取动态获取设备总数 --> <select id="getAllCcListCount" resultClass="java.lang.Integer" parameterClass="java.util.Map"> select count(1) from routerinfo ...
oracle实现一对多数据分页查询筛选示例代码
09-09
Oracle数据库在处理一对多的数据分页查询时，经常会遇到效率和准确性的问题。本文将通过一个示例代码，探讨如何在Oracle中实现一对多数据的分页查询和筛选，以应对大数据量的情况。 首先，传统的分页查询方式是在...
ORACLE查询表最近更改数据的方法
12-16
在Oracle数据库管理中，了解如何查询表的最近更改数据对于跟踪和审计数据库的变化至关重要。当进行项目修改，如增加字段、删除字段或修改表的注释等操作时，记录这些变动变得尤为重要，尤其是在多版本环境或者团队...
SpringBoot整合mybatis-plus实现多数据源的动态切换且支持分页查询.pdf
10-07
在SpringBoot项目中，整合Mybatis-Plus并实现多数据源的动态切换，同时支持分页查询是一项常见的需求。以下将详细阐述这个过程中的关键步骤和技术要点。 首先，我们需要引入必要的Maven依赖。这里提到了四个关键...
Oracle 10g数据库海量数据分页查询优化.pdf
10-09
Oracle 10g 数据库海量数据分页查询优化 本文主要介绍 Oracle 10g 数据库中的一种优化的海量数据分页查询解决方案。该方案通过分析传统分页查询技术的不足，融合了多种技术，包括数据库优化策略、SQL 语句优化、...
web 动态分页查询
l_blackeagle的博客
03-12 579
今天就来分享一下分页查询吧，这种在项目中也比较常见。博主是用easyui 写的，当然还有其他的比如jquery 等 。至于界面，可以参考easyUI文档demo，好了，不说废话，来看代码吧！就贴一些主要的代码吧！ 1，先是通过客户端发送请求给control层，也就是你要请求数据的路径，这里就不贴了，刚才也说了，界面可以参考easyui文档；2，daopublic List<Product_info
oracle分页查询动态sql语句,oracle分页查询sql语句
weixin_33634121的博客
04-04 264
String sql="select * from( select e.*,rownum r from( select * from emp order by sal desc )e ) where r between ? and ? ";String sql="select * from( select e.*,rownum r from( select * from emp order by ...
oracle动态分页函数
xionglang7的专栏
12-12 2254
create or replace procedure sp_exec_dynamic_page( /*    功能：实现动态分页 */   var_tablename   in VARCHAR2,    -- 表名 employees e,departments d   var_tablecolumn in VARCHAR2,    -- 查询列 a.employee_id,b
Oracle定义包实现动态查询数据库表
Master_Shifu_的博客
06-28 2426
摘要: 项目中有使用xml传递大数据量的写入IT模型,因为之前的测试场景都是单一表的写入测试,有的表数据在初期使用量少,所以有可能导致没有使用xml进行数据的传递与使用模型进行写入的测试。如果这些隐藏的问题发现越晚，对之前历史数据的清理以及重发消息的同步数据工作量就更大。所以有必要填充一份完整的传递数据的xml，然后验证IT模型中所有表数据写入的正确性。 这个需求的前提是，这个IT模式中有维护一份...
oracle分页查询动态sql语句,oracle分页查询sql原理与语句
weixin_28844359的博客
04-04 379
最简单使用方法 代码如下 复制代码select t2.*from (select rownum r,t1.* from youtable t1 where rownum) t2where t2.r>?小于最大的,大于最小的,就是你需要的条数.如果你取40-50条之间的分页查询格式： 代码如下 复制代码SELECT * FROM(SELECT A.*, ROWNUM RNFROM (SEL...
动态的带参数的分页查询
qq_58849698的博客
08-18 247
//动态的带参数的分页查询 m是页数 page n是limit public List<User> selectAllByParam(Map map){ System.out.println("map dao= " + map); for (Object o : map.keySet()) { System.out.println("o = " + o); } String page =(String) map.get("page");//接收.
oracle 动态分页查询的写法
星火染星野的博客
01-09 600
mapper.xml 文件 :          select * from (   select * from(   select t1.* from(   select rownum rn ,t.FACTORY_ID,t.FULL_NAME,t.FACTORY_NAME,t.CONTACTS ,t.PHONE,t.MOBILE,   t.FAX,t.CNOTE,t.INSP
Oracle动态分页sp
weixin_44836843的博客
04-26 155
按照指定字符和字节分页
Oracle自动分页
weixin_51849340的博客
11-25 244
Oracle的自动分页SQL语句 分页规律总结：每页显示m条数据，查询第n页数据 select * from (select rownum r,e. * from 要分页的表 e where rownum<=mn) t where r>mn-m ; 要分页的表既可以是真实的表，也可以是一个查询语句 分页查询员工信息按照工资排序 select * from (select rownum r,t.* from (select * from emp order by sal) t where row
ORACLE多表关联分页查询
最新发布
06-14
### ORACLE 多表 JOIN 分页查询 示例 在 Oracle 数据库中，多表关联查询结合分页的实现可以通过使用 `ROWNUM` 或者分析函数 `ROW_NUMBER()` 来完成。以下是具体的实现方法和示例代码。 #### 使用 ROWNUM 实现分页 `ROWNUM` 是 Oracle 中的一个伪列，用于限制返回的行数。通过嵌套查询的方式，可以实现分页功能。以下是一个多表 JOIN 并结合分页的示例： ```sql SELECT * FROM ( SELECT a.*, ROWNUM AS rn FROM ( SELECT e.employee_id, e.first_name, e.last_name, d.department_name FROM employees e JOIN departments d ON e.department_id = d.department_id ORDER BY e.employee_id ) a WHERE ROWNUM <= 20 -- 获取前20条记录 ) b WHERE b.rn > 10; -- 从第11条记录开始 ``` 上述查询中，外部查询通过 `ROWNUM` 和子查询的条件限制了返回的行数[^1]。内层查询实现了多表 JOIN，并按照 `employee_id` 排序以确保分页结果的一致性。 #### 使用 ROW_NUMBER() 实现分页 `ROW_NUMBER()` 是一种更灵活的分页方式，尤其适用于需要复杂排序规则的场景。以下是基于 `ROW_NUMBER()` 的分页查询示例： ```sql SELECT employee_id, first_name, last_name, department_name FROM ( SELECT e.employee_id, e.first_name, e.last_name, d.department_name, ROW_NUMBER() OVER (ORDER BY e.employee_id) AS rn FROM employees e JOIN departments d ON e.department_id = d.department_id ) WHERE rn BETWEEN 11 AND 20; -- 获取第11到第20条记录 ``` 此查询中，`ROW_NUMBER()` 函数为每一行分配了一个唯一的行号，外层查询通过 `BETWEEN` 语句筛选出指定范围内的记录[^1]。 #### 注意事项 - 在分页查询中，确保内层查询包含明确的排序规则（如 `ORDER BY`），否则可能导致分页结果不稳定。 - 如果数据量较大，建议结合索引优化查询性能，避免全表扫描。 ### 结合 MyBatisPlus 的多表 JOIN 分页 如果使用 MyBatisPlus 框架，可以直接通过传递 `Page` 对象实现分页查询。以下是一个多表 JOIN 的分页查询示例： ```java Page<CustomResult> page = new Page<>(currentPage, pageSize); LambdaQueryWrapper<Employee> queryWrapper = new LambdaQueryWrapper<>(); queryWrapper.eq(Employee::getDepartmentId, departmentId); Page<CustomResult> result = employeeMapper.selectPage(page, queryWrapper); ``` 对应的 SQL 映射文件如下： ```xml <select id="selectPage" resultType="CustomResult"> SELECT e.employee_id, e.first_name, e.last_name, d.department_name FROM employees e JOIN departments d ON e.department_id = d.department_id <where> <if test="departmentId != null"> AND e.department_id = #{departmentId} </if> </where> </select> ``` 此方式利用 MyBatisPlus 的分页插件自动处理分页逻辑[^4]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值