分布式服务数据重复问题

1.根据id去除其他字段重复数据

问题分析：由于分布式服务在多个节点上运行，没有做分布式锁处理，导致定时任务存储redis数据出现了多份

解决方案：

        1.添加分布式锁，保证只有一个服务处理数据

                这里采用redisson锁保证保证只做一次存储操作

        

        2.数据库设置字段唯一，忽略其他其他节点在存储时候的报错

                

        3.手动删除重复数据(很不灵活，建议使用第一种方式)

delete from ocpx_media_cb_info WHERE
rs_id IN (select rs_id from ( SELECT rs_id FROM ocpx_media_cb_info b GROUP BY rs_id HAVING count( rs_id ) > 1 ) t)
AND id NOT IN (select tt.id from (SELECT max(c.id ) as id FROM ocpx_media_cb_info c GROUP BY rs_id HAVING count( rs_id ) > 1 ) tt)

 一句SQL就可以搞定数据重复问题了