python 数据去重清洗迁移篇

最新推荐文章于 2024-07-24 09:00:00 发布

oh_妙笔生花

最新推荐文章于 2024-07-24 09:00:00 发布

阅读量1.2k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：数据文章标签： python爬虫技术

本文链接：https://blog.youkuaiyun.com/qq_36598571/article/details/90436643

本文是一位有着2年Python爬虫经验的程序媛分享的数据存储、清洗和去重经验。介绍了使用pandas、csv、json、数据库等方式进行数据持久化存储，并讨论了数据迁移，如从MongoDB到MySQL，以及数据去重的各种策略，包括URL去重和内容去重。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据存储去重篇

作为一名有着2年Python爬虫工作经验的程序媛，今天小编来总结一下关于数据存储清洗去重的那些事。
先说存储吧——持久化存储。所谓持久化存储就是把你所抓取到的数据永久保存到你的硬盘里。7种方式实现持久化存储，妈妈再也不会担心我的数据会丢啦
数据存储
（1）csv文件。
（2）Json文件。
（3）文本文件
（4）Mysql数据库
（5）Mongodb数据库
（6）Redis数据库
（7）Pandas
先导包鸭！
import pandas as pd
import numpy as np

再用pandas这个dataframe数据类型，他还有个数据类型是serize
df = pd.DataFrame(np.random.randn(3, 4))
#Dataframe 写入到 csv 文件

df.to_csv(’./data/a.csv’, sep=’,’, header=True, index=True)
#第一个参数是说把 dataframe 写入到 D 盘下的 a.csv 文件中，参数 sep 表示字段之间用’,’分隔，header 表示是否需要头部，index 表示是否需要行号。

#Dataframe 写入到 json 文件
df.to_json(’./data/a.json’)

#Dataframe 写入到 html 文件
df.to_html(’./data/a.html’)

#Dataframe 写入到剪贴板中
df.to_clipboard()

#Dataframe 写入到数据库中
#df.to_sql(‘tableName’, con=dbcon, flavor=‘mysql’)
#第一个参数是要写入表的名字，第二参数是 sqlarchmy 的数据库链接对象，第三个参数表
示数据库的类型，“mysql”表示数据库的类型为 mysql

所以说，数据分析还是挺厉害的，这个库值得学。小编良心推荐