mysq limit分页

      有个几千万条记录的表 on mysql 5.0.x，现在要读出其中几十万万条左右的记录

常用方法，依次循环：
select * from mytable where index_col = xxx limit offset, limit;

经验：如果没有blob/text字段，单行记录比较小，可以把 limit 设大点，会加快速度
问题：头几万条读取很快，但是速度呈线性下降，同时 mysql server cpu 99% 速度不可接受。

 

在mysql 查询中使用了很多 limit 关键字用来做查询分页（当然这也是一种很好的查询优化）。

oracle中一般来说都是用以下 sql 句子实现：

select * from

( select a1.*, rownum rownum_

from testtable a1

where rownum > 20)

where rownum_ <= 1000

这个语句就能查询到 testtable 表中的 20 到 1000 记录，需要嵌套查询。

mysql 的实现：

select * from testtable a1 limit 20,980;

这样就能返回 testtable 表中的 21 条到（ 20 ＋ 980 ＝） 1000 条的记录。实现语法确实简单，但我们不能从这语句的简洁程度就说谁的效率高。对程序员来说，够简单就好，因为维护成本低，呵呵。

       下面讲讲这个 limit 的语法吧：

select ……[limit {[offset,] row_count | row_count offset}]

这里 offset 是偏移量（这个偏移量的起始地址是 0 ，而不是 1 ，这点很容易搞错的）顾名思义就是离开起始点的位置，而 row-count 也是很简单的，就是返回的记录的数量限制。

eg. select * from testtable a limit 10,20

这样就能使结果返回 10 行以后（包括 10 行自身）20 条记录。

       那这跟避免全表扫描有什么关系呢？ 下面是 mysql 手册对 limit 参数优化扫描的一些说明：

在一些情况中，当你使用 limit 选项而不是使用 having 时， mysql 将以不同方式处理查询。

l          如果你用 limit 只选择其中一部分行，当 mysql 一般会做完整的表扫描时，但在某些情况下会使用索引（跟 ipart 有关）。

l          如果你将 limit n 与 order by 同时使用，在 mysql 找到了第一个符合条件的记录后，将结束排序而不是排序整个表。

l          当 limit n 和 distinct 同时使用时， mysql 在找到一个记录后将停止查询。

l          某些情况下， group by 能通过顺序读取键 ( 或在键上做排序 ) 来解决，并然后计算摘要直到键值改变。在这种情况下， limit n 将不计算任何不必要的 group 。

l          当 mysql 完成发送第 n 行到客户端，它将放弃余下的查询。

l          而 limit 0 选项总是快速返回一个空记录。这对检查查询并且得到结果列的列类型是有用的。

l          临时表的大小使用 limit # 计算需要多少空间来解决查询。

分页

mysql中limit的用法详解[数据分页常用]
select * from table   limit [offset,] rows | rows offset

 

1.为了与 postgresql 兼容，mysql 也支持句法： limit # offset #。 
2.mysql> select * from table limit 5;     //检索前 5 个记录行

//换句话说，limit n 等价于 limit 0,n。
3. select * from tablename <条件语句> limit 100,15

从100条记录后开始取15条 (实际取取的是第101-115条数据)

 

参考：http://www.111cn.net/database/mysql/mysql_limit.htm