MySQL 过滤掉重复数据

问题：由于bug存在，导致数据库存在重复数据的问题，需要去除多余重复数据，仅保留一条有效数据

1.建立测试环境

DROP TABLE IF EXISTS `student`;
CREATE TABLE `student` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) COLLATE utf8_bin DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

-- ----------------------------
-- Records of student
-- ----------------------------
INSERT INTO `student` VALUES ('1', 'cat', '12');
INSERT INTO `student` VALUES ('2', 'dog', '13');
INSERT INTO `student` VALUES ('3', 'camel', '25');
INSERT INTO `student` VALUES ('4', 'cat', '32');
INSERT INTO `student` VALUES ('5', 'dog', '42');
INSERT INTO `student` VALUES ('6', 'dog', '42');

查看重复数据情况

SELECT name,count( 1 ) 
FROM
 student 
GROUP BY
NAME 
HAVING
 count( 1 ) > 1;
、、、、、、、、结果、、、、、、、、
cat	2
dog	3

2.查出需要保留的重复数据

select min(rownum),id from (
SELECT
	@rownum :=@rownum + 1 AS rownum,
	s.*
FROM
	student s,
	(SELECT @rownum := 0) t
) st
GROUP BY st.`name` ORDER BY st.rownum

、、、、、、、、结果、、、、、、、、、、
1	1
2	2
3	3

因为表有可能不是递增形式的所以可能需要预先给予序号。mysql数据库表是没有rownum属性的，而Oracle是有的。rownum是自定义变量，表示行号。

3.删除重复数据

DELETE
FROM
	student
WHERE
	student.id NOT IN (
		SELECT
			x.id
		FROM
			(
				SELECT
					min(rownum),
					id
				FROM
					(
						SELECT
							@rownum :=@rownum + 1 AS rownum,
							s.*
						FROM
							student s,
							(SELECT @rownum := 0) t
					) st
				GROUP BY
					st.`name`
				ORDER BY
					st.rownum
			) x
	)