python+mysql实现数据覆盖式更新(数据采集中做去重处理)
业务场景:数据采集(爬虫)时需要对采集的数据多次采集【目的是更上网站数据变化的步伐】,比如采集人员,两次采集到同一个人的信息(第二次采集时人员的信息变化了)时,需要对数据进行覆盖一般的操作流程是:先根据PRIMARY_KEY或UNIQUE字段查询库里是否存在数据(select。。。); 如果存在数据,则更改许要更改的字段(update。。。); 如果不粗在数据,则进行添加新数据(insert。。。); 代码示例 import pymysqlimport ipdbconn = py
原创
2020-08-07 11:49:51 ·
3319 阅读 ·
0 评论