java处理大量数据查重合并，MySQL数据查询合并

1.场景：

业务表中有30w数据，动态根据选定的字段，进行查重合并

2.解决方式：

sql语句根据传过来的条件，使用gruop by进行分组，使用GROUP_CONCAT获取每组中的对应id，根据id进行相关的业务操作,由于重复数据量大，使用了limit 100,进行数据量的限制，进行分批处理

3.演示sql

SELECT
	GROUP_CONCAT( RS.alumniuser_id ) AS groupAlumniIds  //获取每组中的对应id
FROM
	(
	SELECT
		au.*
	FROM
		alumniuser au
	WHERE
		( au.isdelete = 0 ) 
		AND 1 = 1 
		AND au.isdelete != 1 
		AND au.organizationId = 1 
	GROUP BY
		au.alumniuser_id 
	) RS 
GROUP BY
	RS.NAME 
HAVING
	( COUNT( 1 ) > 1 ) 
	LIMIT 100

返回一个List字符串，遍历集合，拿到每组的id，进行业务的操作
4.参考链接：sql函数使用详解