分批读取Oracle数据（续）

最新推荐文章于 2023-02-19 17:32:09 发布
原创 最新推荐文章于 2023-02-19 17:32:09 发布 · 2.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#oracle #数据库 #date #测试

本文讨论了在数据库数据循环发送过程中可能出现的数据重复问题，特别是在使用ORDER BY ROWID的情况下。提出了解决方案：通过先按日期字段及主键进行排序，再为数据分配ROWNUM编号的方法来避免重复发送。

        测试表明，如果在数据循环发送的过程中，如果有新数据写入到数据库，如果ORDER BY ROWID，那么数据有可能就重复传送，如果数据是关于财经的，那么这肯定是个致命的问题。所以可以先SELECT数据，并且ORDER BY 一个跟数据密切相关的DATE型字段 + Primary Key，然后再对数据用ROWNUM依次编号，最后选择目标数据，这样循环发送，应该就没什么问题了.

分批读取Oracle数据
Arc专栏
09-04 6716
        问题描述： 大量的外部终端通过socket访问内部的UNIX服务器，要求从服务器的Oracle数据库中得到数据在终端处理显示。这里要求socket最大的传输量是5000个字符，那么对于海量数据就要求分批次取得数据并且多次传输，怎么实现呢？        解决方案：首先考虑使用ROWNUM，但是在Oracle（version 10g）中，ROWNUM不能使用">", 并且经过简单
Oracle 的数据批量读取
踢砖头
01-07 3050
有这么一个大表假设数亿条记录，纯数据文本百Gb以上，批量读取的话咋整？ SQLLoader，算是一个选择吧。嗯，开并行，数据表本身也许已经partition过了。可是如果自己批量unload数据应该怎么做呢？多线程并行是个好主意，但是怎么并行呢？如果你在想什么数字主键均分的想法，那你也许不会有好的结果。原因，主键的值域范围不一定是均匀分布的，这会造成你某些工作线程很忙，有些却草草结束了。深层次的
批量获取oracle数据表记录信息
09-02
通过ado链接，获取oracle数据库的所有表名，记录数，对应表空间等，并按照表大小排序，方表用户查询达标并及时做相应处理。自己很早以前写的，适合数据库初学者用。
oracle 分批提取数据,Oracle创建关系分批抽取测试数据
weixin_31516001的博客
04-02 637
1、创建表、字段、约束、主键、外键create table T_STU (STU_ID char(5) not null,STU_NAME varchar2(8) not null,constraint PK_T_STU primary key (STU_ID))create table T_SCORE (EXAM_SCORE number(5,2),EXAM_DA...
oracle 分批提取数据,Oracle批量insert造数据和分批提交删除的例子
weixin_36070880的博客
04-02 438
批量insert造数据和分批提交删除的例子create or replace procedure myj_insert(maxrecords in number :=100) isi number :=1beginfor i in 1..aloopInsert into ADZONES(ADZONEID, NAME, FORMAT, TRANSTYPE, SIZECODE, ADZONESIZE,...
Java分批查询oracle数据库
hello world
02-19 2105
的方式来查询数据库。这是因为数据库会把满足查询条件的所有记录都装载到内存、造成大量资源被思严重影响系统运行的效率。一般项目设计的时候，会一次读取所有的数据到内存中，比如到list中，这有。那么我们如何设计一个开发方案来解决这中问题呢?可能造成内存的溢出，或者系统效率的降低。在查询的数据量比较大时，我们会采用。
python读取oracle数据_Python读写oracle数据库
weixin_39823459的博客
12-03 1178
最近项目中需要用到Python调用oracle实现读写操作，踩过很多坑，历尽艰辛终于实现了。性能怎样先不说，有方法后面再调优嘛。现在把代码和注意点记录一下。1. 所需Python工具库cx_Oracle，pandas，可以使用通过控制台使用pip进行安装(电脑中已经安装)2. 实现查询操作#工具库导入import pandas as pdimport cx_Oracle#注：设置环境编码方式，可解...
Oracle读取excel数据
12-16
可以考虑分批处理，或者使用外部表直接从文件系统读取数据，以减少内存占用。 7. **安全性与权限**： 在实际操作中，需要确保执行这些操作的用户有足够的权限访问文件系统、创建对象和插入数据。同时，应考虑数据...
cx_Oracle批量读取oracle数据
HYESC的博客
07-24 1611
需求是从oracle中按批次取数据，如一次取1000条，操作完再接着取。实现代码如下： db_conn = cx_Oracle.connect("user", 'pwd', "host:port/sid", encoding="UTF-8") with db_conn.cursor() as cursor: cursor.arraysize = 100 # 设置每批次获取数据量为100条 cursor.execute("select * from xx.zz") i = 0
oracle进行分组后，取出每组的前几条数据
热门推荐
marho
09-13 1万+
SELECT * FROM ( SELECT 分组的字段名, ROW_NUMBER() OVER(PARTITION BY 分组的字段名 ORDER BY 排序的字段名) AS RN FROM 表名 ) WHERE RN <= 10 得到分组后,数据的前几条...
ORACLE INSERT INTO SELECT *FROM 分批提交例子
01-04
ORACLE INSERT INTO SELECT *FROM 分批提交例子
[转]oracle的数据分页查询
空心居
04-29 676
1. 最好还是利用分析函数　　row_number() over ( partition by col1 order by col2 )　　比如想取出100-150条记录,按照tname排序　　select tname,tabtype from (　　select tname,tabtype,row_number() over ( order by tname ) rn from tab　　)　　
Oracle游标分批循环处理总结
qq_25045173的博客
06-25 1880
此处理方式适用于数据量巨大的循环处理方面，能有效提循环处理效率，具体语句块示例如下所示：DECLARE    CURSOR cur IS      SELECT * FROM t_table;    TYPE rec IS TABLE OF t_table%ROWTYPE;    recs rec;  BEGIN    OPEN cur;    WHILE (TRUE) LOOP      FET...
一个分批取数优化例子
frogshero的专栏
03-23 1255
一个oracle分批取数优化例子：ALLOBJ表是一个100w的大表，需要对它进行分批取数：通用分页sql：Select * From (Select a.*, Rownum Rn From (Select * From ALLOBJ) a Where Rownum 5000优点：1通用 2查询前面几页的时候性能还不错 缺点：表非常大时，查询后几页性能比较差，如：Select * F
Oracle查询
小小八卦姐的专栏
04-24 1012
简单的查询语句： （）
分段表rowid_如何在ORACLE利用rowid复制数据大表
weixin_35063099的博客
12-23 678
导语：叶子遇到了一个大表取数的问题，1.9亿的数据量，复制过来的时候使用create table会失败，我们尝试过分日期来提取，开始可以，但等到月末，数据过大，也不能成功获取数据。下面介绍一种利用rowid来分段获取数据的方法。原理利用rowid的生成规则，我们可以知道每张表的rowid范围，从而可以利用rowid段来分批获取数据。但由于没有对表dba_extents ,dba_objects赋权...
一个非常好的ORACLE的分页SQL语句
天涯柳絮的专栏
07-21 2935
 select * from (select my_table.*, rownum as my_rownum from ( select yhbh, yhmc from yysf_tb_yonghxx order by yhbh) my_table where rownum =10------------------------------------其它几种分页实现:1.根据ROWID来分sel
oracle设置sql分批查询_PL/SQL Developer 设置缓冲区
weixin_39852647的博客
12-17 1162
当使用PL/SQL Developer 客户端工具查询Oracle 数据库服务器中数据的时候，在查询数据量比较大的表的时候，会遇到PL/SQL Developer的缓冲区不足的故障。例如：执行SQL语句：SQL> select * from sys.dba_objects;会在语句执行的过程中，弹出窗口：结果集超过了最大长度(100MB)。如果必要，你可以明确地继续这个查询。需要点击“确定”...
读取oracle怎么查看批次数据量
最新发布
09-27
<think>我们之前讨论了在批次操作（如更新、删除）中查看批次数据量的方法，主要使用了SQL%ROWCOUNT和JDBC返回值。现在用户的问题是：“读取Oracle数据库时查看批次数据量的方法”，即如何在读取数据（查询）时查看每个批次的数据量。 在读取操作（查询）中，我们通常使用游标（Cursor）来分批获取数据。在PL/SQL中，我们可以使用显式游标并利用%ROWCOUNT属性来获取当前批次已获取的行数。在应用程序中（如Java、Python），我们可以通过结果集（ResultSet）的迭代次数来统计每个批次的数据量。 以下将分为三个部分： 1. PL/SQL中使用游标分批读取并查看批次数据量 2. Java中使用JDBC分批读取并查看批次数据量 3. Python中使用cx_Oracle分批读取并查看批次数据量 注意：在读取数据时，分批通常是指每次从游标中获取一定数量的行（例如1000行），然后处理这一批，再获取下一批。 参考引用[2]中提到了分批查询以避免内存溢出，这正是我们要解决的问题。 下面详细说明： ### 1. **PL/SQL中使用游标分批读取** 在PL/SQL中，我们可以使用显式游标，并设置每次获取的行数（通过`FETCH ... BULK COLLECT INTO ... LIMIT`），然后使用`%ROWCOUNT`来获取实际获取的行数（即批次数据量）。 **示例代码**： ```sql DECLARE CURSOR c_data IS SELECT * FROM your_table; -- 替换为你的查询 TYPE t_data_table IS TABLE OF c_data%ROWTYPE; v_batch_size NUMBER := 1000; -- 批次大小 v_batch_data t_data_table; -- 存储一批数据的集合 v_rows_fetched NUMBER; -- 本次批次数据量 BEGIN OPEN c_data; LOOP -- 获取一批数据，最多v_batch_size条 FETCH c_data BULK COLLECT INTO v_batch_data LIMIT v_batch_size; v_rows_fetched := c_data%ROWCOUNT - v_rows_fetched; -- 注意：这里需要调整，因为%ROWCOUNT是累计的 -- 但实际上，我们可以通过集合的COUNT属性直接得到本次获取的行数 v_rows_fetched := v_batch_data.COUNT; -- 更简单的方法 -- 处理这一批数据（例如，打印批次数据量） DBMS_OUTPUT.PUT_LINE('本次获取行数: ' || v_rows_fetched); -- 如果本次获取的行数小于批次大小，说明已经取完 EXIT WHEN v_rows_fetched < v_batch_size; END LOOP; CLOSE c_data; END; / ``` **说明**： - 使用`BULK COLLECT ... LIMIT`可以高效地分批获取数据。 - 通过集合变量（`v_batch_data`）的`COUNT`属性，我们可以直接得到本次批次实际获取的行数。 - 注意：游标的`%ROWCOUNT`是累计的，所以如果我们想用游标的属性，需要记录上一次的值。但直接使用集合的COUNT更简单。 ### 2. **Java中使用JDBC分批读取** 在Java中，我们可以通过设置`PreparedStatement`的`setFetchSize()`方法来控制每次从数据库获取的行数（即批次大小），然后通过循环遍历`ResultSet`，每遍历一行计数器加一，当计数器达到批次大小时处理一批，然后重置计数器。 **示例代码**： ```java import java.sql.*; public class OracleBatchReader { public static void main(String[] args) { String url = "jdbc:oracle:thin:@your_host:1521:your_sid"; String sql = "SELECT * FROM your_table"; // 替换为你的查询 try (Connection conn = DriverManager.getConnection(url, "username", "password"); PreparedStatement stmt = conn.prepareStatement(sql)) { // 设置每次从数据库获取的行数（批次大小） stmt.setFetchSize(1000); try (ResultSet rs = stmt.executeQuery()) { int batchSize = 1000; // 定义批次大小 int count = 0; // 当前批次已读取行数 int totalCount = 0; // 总行数 while (rs.next()) { // 处理当前行数据 // ... count++; totalCount++; // 当达到批次大小时，输出并重置 if (count == batchSize) { System.out.println("本次批次数据量: " + count); count = 0; // 重置 } } // 处理最后一批（可能不足batchSize） if (count > 0) { System.out.println("最后一批数据量: " + count); } System.out.println("总数据量: " + totalCount); } } catch (SQLException e) { e.printStackTrace(); } } } ``` **说明**： - 使用`setFetchSize(1000)`告诉JDBC每次从数据库获取1000行（注意：这并不等于内存中保存的行数，但可以控制网络往返次数）。 - 我们在应用程序中自己控制批次：每读取一行，计数器加一，达到批次大小时输出并重置。 - 这样，我们就可以知道每个批次处理了多少行。 ### 3. **Python中使用cx_Oracle分批读取** 在Python中，我们可以使用cx_Oracle库，通过游标的`fetchmany()`方法分批获取数据，并统计每批的行数。 **示例代码**： ```python import cx_Oracle # 连接数据库 conn = cx_Oracle.connect('username/password@host:port/service_name') cursor = conn.cursor() # 执行查询 cursor.execute("SELECT * FROM your_table") # 替换为你的查询 batch_size = 1000 while True: # 获取一批数据 rows = cursor.fetchmany(batch_size) if not rows: break # 本次批次数据量 current_batch_size = len(rows) print(f"本次批次数据量: {current_batch_size}") # 处理这批数据 # ... # 如果本次获取的行数小于批次大小，说明已经取完 if current_batch_size < batch_size: break cursor.close() conn.close() ``` **说明**： - 使用`fetchmany(batch_size)`可以获取最多batch_size行的数据。 - 通过`len(rows)`直接得到本次批次的数据量。 - 当获取的行数小于batch_size时，说明已经到达结果集的末尾。 ### 总结 - 在读取操作中查看批次数据量，核心是通过编程方式控制每次获取的行数，并统计实际获取的行数。 - PL/SQL中推荐使用游标和集合的`COUNT`属性。 - Java中通过设置`setFetchSize`并在循环中计数。 - Python中使用`fetchmany`和`len`函数。 这样，无论是在数据库端的PL/SQL还是应用程序中，都能有效监控每个批次的数据量，避免内存溢出问题（如引用[2]和引用[4]所述），并优化性能。 §§相关问题§§ 1. 如何优化Oracle大数据量查询时的内存使用？ 2. 在Java中，如何通过游标流式读取Oracle海量数据？ 3. Oracle中如何设置合适的游标缓存大小以提高查询性能？ </think>### Oracle数据库读取操作中查看批次数据量的方法 在读取Oracle数据时监控批次数据量，可通过以下方法实现。核心原理是**在分批查询逻辑中加入计数器**，实时统计每批次返回的行数。以下是三种典型场景的解决方案： --- #### 1. **PL/SQL游标分批读取（数据库端）** 通过显式游标的`%ROWCOUNT`属性获取批次数据量： ```sql DECLARE CURSOR data_cursor IS SELECT * FROM your_table; -- 替换为实际查询 TYPE t_data_table IS TABLE OF data_cursor%ROWTYPE; v_batch_size NUMBER := 1000; -- 批次大小 v_batch_data t_data_table; BEGIN OPEN data_cursor; LOOP FETCH data_cursor BULK COLLECT INTO v_batch_data LIMIT v_batch_size; DBMS_OUTPUT.PUT_LINE('批次数据量: ' || v_batch_data.COUNT); -- 输出当前批次行数 EXIT WHEN v_batch_data.COUNT = 0; -- 无数据时退出 -- 处理数据逻辑 -- END LOOP; CLOSE data_cursor; END; / ``` **关键点**: - `BULK COLLECT ... LIMIT` 实现数据分批[^2] - `v_batch_data.COUNT` 直接返回当前批次行数 - 适用于存储过程等数据库端操作 --- #### 2. **Java应用分批读取（JDBC）** 通过`ResultSet`的遍历计数实现： ```java try (Connection conn = DriverManager.getConnection(url, user, pwd); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery("SELECT * FROM your_table")) { // 替换查询 int batchSize = 2000; // 批次大小 int currentCount = 0; // 批次计数器 while (rs.next()) { // 处理单行数据 processRow(rs); // 批次计数逻辑 if (++currentCount % batchSize == 0) { System.out.println("批次数据量: " + currentCount); currentCount = 0; // 重置计数器 } } // 处理最后不足批次的数据 if (currentCount > 0) { System.out.println("最后批次数据量: " + currentCount); } } ``` **优化建议**: - 使用`stmt.setFetchSize(5000)`减少数据库往返次数[^1] - 结合分页查询：`SELECT * FROM (SELECT t.*, ROWNUM rn FROM table t) WHERE rn BETWEEN ? AND ?` --- #### 3. **Python应用分批读取（cx_Oracle）** 通过游标`fetchmany()`方法获取批次数据量： ```python import cx_Oracle conn = cx_Oracle.connect("user/pwd@host:port/service") cursor = conn.cursor() cursor.execute("SELECT * FROM your_table") # 替换查询 batch_size = 3000 # 批次大小 while True: rows = cursor.fetchmany(batch_size) # 获取批次数据 if not rows: break print(f"批次数据量: {len(rows)}") # 直接输出本批行数 # 处理数据逻辑 conn.close() ``` **优势**: - `fetchmany()`自动管理批次内存[^4] - 避免`fetchall()`导致的内存溢出风险 --- ### 关键注意事项 1. **批次大小选择** - 建议值：1,000 - 50,000行/批 - 测试公式：$$BatchSize = \frac{AvailableMemory}{RowSize \times 1.5}$$ （可用内存除以单行大小的1.5倍） 2. **性能监控工具** - 实时查看：`SELECT rows_processed FROM v$sql WHERE sql_id='...'` - 历史分析：`DBA_HIST_SQLSTAT`视图[^1] 3. **内存优化技巧** - 只查询必需列（避免`SELECT *`） - 使用`WHERE`条件过滤早期数据 - 增大JDBC连接池的`statement_cache_size` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值