003 pandas 数据清洗常用

最新推荐文章于 2025-06-05 10:06:24 发布

原创最新推荐文章于 2025-06-05 10:06:24 发布 · 212 阅读

1 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

15 篇文章

订阅专栏

本文介绍了一种使用Python操作数据库的方法，并演示了如何通过pandas库读取数据、去除重复记录以及将处理后的数据写回数据库的过程。

操作数据库实例

import pandas as pd
from sqlalchemy import create_engine

conn = create_engine(
    'mysql+pymysql://root:xxxxxx@localhost:3306/testdb?charset=utf8')

# 从数据库读取
# data = pd.read_sql('select * from company_info limit 100', conn)
data = pd.read_sql_table('company_info_xian', conn)

# 去重，可以传递列表，按照多个字段去重
data.drop_duplicates(subset='phone', inplace=True)

# 保存到数据库中
data.to_sql('company_xian_no_duplicates', conn, index=False, chunksize=100)