msyql 固定时间间隔内去重

MySQL：按固定时间间隔去重策略

最新推荐文章于 2025-01-17 02:13:05 发布

原创

最新推荐文章于 2025-01-17 02:13:05 发布 · 891 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #去重

博客内容讲述了如何使用MySQL对数据进行去重，规则是在同一天内去除两小时内重复的车牌记录。通过分组、排序并计算时间差，筛选出符合条件的唯一车牌数据。

初始数据是这样的，里面会有一些重复的车牌，现在要对他们进行去重。
去重规则是在某天内去除两小时内重复的车牌，例如第一条浙B8X257在2018-11-28 00:01:28.000出现，那么如果2018-11-28 02:01:28.000前又出现浙B8X257，那么该数据（或者几条数据）需要被去除

我的想法是把相同的车牌分组，然后按时间排序，取相邻两个时间的时间差，比较这个时间差
实现步骤如下：
首先分组后排序，需要加上序号

select (@i := case  when  @pre_parent_code=szCarNum then @i + 1 else 1 end )  rownum,  
       szDeviceId,szCarNum,lCaptureTime,
       (@pre_parent_code:=szCarNum)  
  from ods.ias_bay_car_info , 
       (SELECT  @i := 0, @pre_parent_code:='') AS a  
 where szDeviceId='020299DB03'
   and nCarNumColor='Yellow'
   and date(lCaptureTime)='2018-11-28'
 order by szCarNum,lCaptureTime;

结果如下
在这里插入图片描述
相同车牌会按时间排序，序号从1开始