使用分页查询来适应挖掘海量数据的需求选择自 tangl_99 的 Blog

分页查询优化

最新推荐文章于 2018-08-06 10:23:12 发布

最新推荐文章于 2018-08-06 10:23:12 发布 · 87 阅读

文章标签：

#数据挖掘 #Blog #Oracle #Hibernate #MySQL

本文讨论了数据挖掘过程中遇到的大规模数据库遍历问题，并介绍了Oracle和MySQL等数据库如何通过rownum和limit关键字进行分页查询以提高效率。同时，还探讨了Hibernate等数据持久层工具如何统一不同数据库间的分页查询实现。

使用分页查询来适应挖掘海量数据的需求

选择自 tangl_99 的 Blog

数据挖掘各类算法中，常常需要遍历整个数据库（表）。现实中的数据库可能十分大，往往不可能通过一个简单的Select *的方式遍历提取数据表内的所有元组。直接用Select * 的方式存在两大问题，一是Select *过后，可能要等很久数据库才能将所有信息提交完毕，第二是得到的结果可能是很大，远远超过内存的限制。

现在各种主流的数据库都支持了分页查询的方式。

以Oracle为例，通过rownum关键字可以获取指定的行区间。
比如: Select * from XX.TABLE1 where rownum <= 100。不过Oracle的rownum有点特别的就是，rownum必须从1开始，如果直接这样写就不行了: Select * from XX.TABLE1 where rownum between 50 and 100。
而实际上，我们可以这样来写：SELECT * from (select n.*,rownum num fromXX.TABLE1 n WHERE rownum <=100) where num >= 50;

以MySQL为例，提供了limit关键字，更加方便获取中间某区间的行数据。
比如: Select * from TABLE1 limit 50,100。 MySQL的limit关键字用起来比Oracle要方便一些。不过各个数据库的分页查询的速度我倒没有研究过，网上听一些高手们说，Oracle提供的分页查询效率要高一些。

Hibernate这样的数据持久层提供的分页查询，可以屏蔽掉各个不同的数据库之间具体SQL实现差异。
Hiberante这样的数据持久层工具一大好处就是可以屏蔽掉不同数据库的之间的某些细节差异。分页查询在不同的数据库上实现的SQL不一样，所以要统一，最好使用Hibernate这样的工具。
Query q = session.createQuery("from Cat as c");
q.setFirstResult(50);
q.setMaxResults(100);
List l = q.list();

网上到处都可以搜寻到关于Hibernate内部实现分页查询的解读的文章。可以看到，Hibernate内部也是通过rownum，limit这些关键字来实现分页的。