基于时间的查询(AS OF TIMESTAMP)

本文介绍Oracle数据库中基于时间的闪回查询(ASOFTIMESTAMP)特性,演示如何使用此特性恢复误删数据,包括具体操作步骤及注意事项。

11.1.1.1 基于时间的查询(AS OF TIMESTAMP)

2009-12-18 15:04 李丙洋 中国水利水电出版社 字号: T |  T
一键收藏,随时查看,分享好友!

《涂抹Oracle——三思笔记之一步一步学Oracle》作为一本创作之初就定位于技术应用的实践参考书,虽然前前后后串联了Oracle数据库中十余个常用特性或工具,但在章节的设计上完全遵循这一理念。第11章讲述Flashback说,恢复我最行。本节说的是基于时间的查询(AS OF TIMESTAMP)。

AD:51CTO 网+ 第十二期沙龙:大话数据之美_如何用数据驱动用户体验

11.1.1  应用Flashback Query查询过去的数据

Flashback Query这一特性,最常被应用的就是修复误操作的数据了。注意,这并不是说Flashback Query能够恢复数据。Flashback Query本身不会恢复任何操作或修改,也不能告诉你做过什么操作或修改,实际上Flashback Query特性实际应用时,是基于标准SELECT的扩展,借助该特性能够让用户查询到指定时间点的表中的记录,相当于拥有了看到过去的能力,至于恢复,SELECT的结果都出来了,难道还不懂如何执行INSERT TABLE SELECT或CREATE TABLE AS SELECT吗?

11.1.1.1  基于时间的查询(AS OF TIMESTAMP)

以前面创建的FLASH_TBL表为例,先来删除几条记录并提交:

   
  1. JSSPRE> DELETE FLASH_TBL WHERE ID<10;  
  2. rows deleted.  
  3. JSSPRE> COMMIT;  
  4. Commit complete.  
  5. JSSPRE> SELECT * FROM FLASH_TBL;  
  6.     ID   VL  
  7. ---------- --  
  8.     10   K  
  9.     11   L  
  10.     12   M  
  11.     13   N  
  12.     14   O  
  13.     15   P  
  14.     16   Q  
  15.     17   R  
  16.     18   S  
  17.     19   T  
  18.     20   U  
  19. 11   rows selected. 

这个时候FLASH_TB1表中ID<10的记录均已被删除,假设过了一会儿用户发现删除操作执行有误,仍需找回那些被误删的记录该怎么办呢?通过备份恢复吗,如果是在8i或之前版本,恐怕是需要这样,自9i之后,使用Flashback Query的特性,我们可以很轻松地恢复记录(注意并不是任何情况下都可以恢复哟,后面会讲到制约Flashback Query的一些因素,这里假设的都是在理想条件下)。

现在就演示应用Flashback Query,首先是找到它,假设当前距离删除数据有5分钟左右的时间,执行SELECT查询语句,并附加AS OF子句,例如:

   
  1. JSSPRE> SELECT * FROM FLASH_TBL AS OF TIMESTAMP SYSDATE-5/1440;  
  2.     ID  VL  
  3. ---------- --  
  4.     1   A  
  5.     2   B  
  6.     3   C  
  7.     4   D  
  8.     5   E  
  9.     6   F  
  10.     7   G  
  11.     8   H  
  12.     9   I  
  13.     10  K  
  14.     11  L  
  15.     12  M  
  16.     13  N  
  17.     14  O  
  18.     15  P  
  19.     16  Q  
  20.     17  R  
  21.     18  S  
  22.     19  T  
  23.     20  U  
  24.     20      rows selected.  
  25. JSSPRE> 

提 示

SYSDATE-5/1440是啥意思,1440又是怎么来的?

首先60(分)×24=1440,这样就计算出一天拥有多少分钟,SYSDATE是系统函数,用来取得当前的系统时间(以天为单位),SYSDATE-5/1440,得出的就是距当前时间5分钟前的记录了。后面示例中需要计算之前的某个时段时,均是使用这一方法。

你看,我们通过增加AS OF TIMESTAMP的语法,查询到的数据就是5分钟之前的,基于这一结果,可以轻易并且快速地将记录恢复:

   
  1. JSSPRE> INSERT INTO FLASH_TBL  
  2.   2  SELECT * FROM FLASH_TBL AS OF TIMESTAMP SYSDATE-5/1440  
  3.   3  WHERE ID<10;  
  4. rows created.  
  5. JSSPRE> COMMIT;  
  6. Commit complete. 

成功插入9条记录,查询表中当前的记录:

   
  1. JSSPRE> SELECT * FROM FLASH_TBL;  
  2.  
  3.     ID  VL  
  4. ---------- --  
  5.     10  K  
  6.     11  L  
  7.     12  M  
  8.     13  N  
  9.     14  O  
  10.     15  P  
  11.     16  Q  
  12.     17  R  
  13.     18  S  
  14.     19  T  
  15.     20  U  
  16.     1   A  
  17.     2   B  
  18.     3   C  
  19.     4   D  
  20.     5   E  
  21.     6   F  
  22.     7   G  
  23.     8   H  
  24.     9   I  
  25. 20 rows selected. 

数据已被成功恢复。

如上述示例中所示,AS OF TIMESTAMP方式的使用非常方便,但是在某些情况下,我们建议使用AS OF SCN的方式执行Flashback Query。如需要对多个相互有主外键约束的表进行恢复时,如果使用AS OF TIMESTAMP的方式,可能会由于时间点不统一的缘故造成数据选择或插入失败,通过AS OF SCN方式则能够确保记录处理的时间点一致。

在处理时间序列数据时,`asof` 方法是一种用于查找“最后一个不超过给定时间戳的数据点”的常用技术。它在金融、物联网、监控系统等领域有广泛应用,特别是在需要获取“最近的有效状态”时非常有用。 ### 用途 1. **时间对齐**:当两个时间序列数据集的时间戳不完全对齐时,`asof` 可用于获取最接近但不超过目标时间戳的值,从而实现数据对齐。 2. **填补缺失值**:在缺失时间点上,使用 `asof` 方法可以获取最近的有效观测值,从而进行前向填充(forward fill)。 3. **事件匹配**:例如,在金融交易中,可以使用 `asof` 来匹配订单时间和最近的报价时间,以确定当时的市场价格。 4. **实时数据处理**:在流式数据处理中,`asof` 可用于获取当前时间点之前的有效状态,以便做出决策或更新。 ### 实现方法 在 Python 中,Pandas 提供了 `asof` 方法,适用于 `DataFrame` 和 `Series` 对象。 #### 单个时间查询 ```python result = df.asof(pd.Timestamp('2023-01-04')) print("\n截至 2023-01-04 的最后有效值:") print(result) ``` 该方法返回在指定时间戳之前(包括该时间戳)最后一个非空值[^1]。 #### 多个时间查询 ```python result = df.asof([pd.Timestamp('2023-01-02'), pd.Timestamp('2023-01-04'), pd.Timestamp('2023-01-06')]) print("\n截至指定日期的最后有效值:") print(result) ``` 此方式可以一次性查询多个时间点的 `asof` 值,适用于批量处理需求。 #### 自定义列匹配(仅适用于 DataFrame) 默认情况下,`asof` 会作用于所有列。若希望指定某些列进行匹配,可结合 `subset` 参数: ```python result = df.asof(pd.Timestamp('2023-01-04'), subset=['col1', 'col2']) ``` 这将仅在指定列中查找最近的有效值,其余列将返回 NaN。 ### 时间序列数据库中的 asof 查询时间序列数据库(如 InfluxDB、TimescaleDB、QuestDB)中,`asof` 查询通常被称为“最近时间匹配”或“时间对齐查询”。 1. **InfluxDB**:使用 `aggregateWindow` 和 `timedMovingAverage` 等函数进行时间对齐,或通过 `join` 实现跨测量的时间对齐。 2. **TimescaleDB(基于 PostgreSQL)**:可以使用 `time_bucket` 和子查询实现类似 `asof` 的效果,例如: ```sql SELECT t1.time, t1.value FROM table1 t1 WHERE t1.time <= '2023-01-04' ORDER BY t1.time DESC LIMIT 1; ``` 3. **QuestDB**:支持 `ASOF JOIN` 语法,可直接用于两个时间序列之间的最近时间匹配: ```sql SELECT * FROM left_table ASOF JOIN right_table ON left_table.timestamp = right_table.timestamp; ``` ### 性能优化 - **索引优化**:确保时间戳列已建立索引,以加速 `asof` 查询。 - **分段处理**:在大规模数据集中,可按时间窗口分段处理,减少每次查询的数据量。 - **内存缓存**:对于高频访问的时间点,可将最近查询结果缓存,减少重复计算。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值