mysql 200万数据查询优化
最近在做java爬虫项目,用的mysql数据库,数据量少的时候没啥问题,但数据以上百万级别,某些查询巨慢。
比如
1.查询数据总数
select count(*) from tableName ; 我测试的极限是15万数据,一过15万数据,基本是上十几秒才能出结果 。
优化1: SELECT COUNT(id) FROM tableName 注:id为主键 int类型,自增的,自测- 没啥卵用!
优化2:SELECT COUNT(1) FROM tableName 自测- 没啥卵用!
优化3:SELECT MAX(id) FROM tableName 由于id是自增的int类型,基本上最大id也可以代表数据总量了,虽然有可能中间会删除某些数据造成Id不连续,但要求不是那么严格,算是解决!
2. 查询某个用户的相关内容
tableName 表名
id 自增int主键 已创建序列
articleid 文章id(唯一) 已创建序列
userid (用户id 可重复) 已创建序列
1. SELECT articleid FROM tableName WHERE userid='1' ORDER BY id (百万级别数据 根本查询不出来)
2.SELECT * FROM tableName WHERE articleid IN (SELECT articleid FROM tableName WHERE userid='1'); (200万数据 查询需要10-15秒左右)
3.SELECT t1.* FROM tableName AS t1 JOIN (SELECT articleid FROM tableName WHERE userid='1' ) AS t2
WHERE t1.articleid = t2.articleid (200万数据 查询需要10-15秒左右)
4.暂时没有想到更好的优化方法!!!