对于需要根据客户操作更新数据的情况的去重复处理

本文探讨了在抓取其他网站数据并存储到本地数据库的过程中遇到的问题及解决方案。原有设计中,通过简单存储搜索标题的方式导致了数据重复,进而提出了采用“title+time”作为联合主键的新方案来避免重复数据的产生。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

情景:抓取其他网站数据到自己网站的数据库中,当有客户搜索数据的时候,及时从其他网站更新数据到自己的数据库库


老设计:将客户搜索的title 存入到数据库中,根据title  进行搜索,此时会导致多次重复情况。   在程序中进行处理,存数据前先读取判断。此方法一时会有读取操作,而是在数据库的结构设计商依然无法避免  title重复的情况


新方法:将表的主键设定为 title + time 联合主键   ,这样重复的数据就不存在了。其中time可以设定为当天,也可以设定为当前时间的前后一个小时,半个小时等等。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值