pandas读取数据库mysql及处理where in 【List，Array】问题

最新推荐文章于 2024-06-15 19:56:25 发布

Elvis_hui

最新推荐文章于 2024-06-15 19:56:25 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： pandas 文章标签：数据库 pandas

本文链接：https://blog.youkuaiyun.com/Elvis__c/article/details/122257205

pandas 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了如何使用pandas和SQLAlchemy从MySQL数据库中读取数据，以及如何将DataFrame存储回数据库。还展示了如何处理`WHERE IN`子句来处理包含多个值的查询。此外，提到了使用pymysql执行SQL语句的方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.pandas读取数据库mysql

#jupyter notebook安装pymysql 
!pip install pymysql
#用到的模块create_engine
 import pandas as pd
 from sqlalchemy import create_engine
 
 # MySQL的用户：root, 密码:123456, 端口：3306,数据库：test
engine =create_engine('mysql+pymysql://root:123456@localhost:3306/test')
# 查询语句
sql = ''' select * from table ;'''
 # read_sql_query的两个参数: sql语句， 数据库连接
df = pd.read_sql_query(sql, engine)

 # 新建pandas中的DataFrame, 只有id,num两列
df = pd.DataFrame({'id': [1, 2, 3, 4], 'name': ['zhangsan', 'lisi', 'wangwu', 'zhuliu']})
# 将新建的DataFrame储存为MySQL中的数据表，储存index列
df.to_sql('mydf', engine, index=True)

读取数据的几种方式

==============================================================================
#第一种读取数据方式  ----pandas 如上
#第二种读取数据方式  ----engine.execute(sql)
from sqlalchemy import create_engine

engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS example"
engine.execute(sql)

#第三种读取数据方式  ----pymysql
import pymysql
from sqlalchemy import create_engine

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
sql = "DROP TABLE IF EXISTS test_input"# sql语句
cursor = conn.cursor()
cursor.execute(sql)

2.将DataFrame存入mysql

# 读取本地CSV文件
df = pd.read_csv("example.csv", sep=',')
df
# 将新建的DataFrame储存为MySQL中的数据表，不储存index列(index=False)
# if_exists:
# 1.fail:如果表存在，啥也不做
# 2.replace:如果表存在，删了表，再建立一个新表，把数据插入
# 3.append:如果表存在，把数据插入，如果表不存在创建一个表！！
pd.io.sql.to_sql(df, 'example', con=engine, index=False, if_exists='replace')
# df.to_sql('example', con=engine,  if_exists='replace')这种形式也可以

3.where in 对列表(list,array)问题

#假如 你要执行这个语句
select * from server where ip in (....)
ip_list=['0.0.0.0','1.1.1.1','2.2.2.2',.......]#老多了
new_list=','.join(["'%s'" % item for item in ip_list])
# "'0.0.0.0','1.1.1.1','2.2.2.2'........"

import pandas as pd
from sqlalchemy import create_engine
#建立连接
engine =create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql_2='''select * from server where ip in ({});'''.format(new_list)# 查询语句
df=pd.read_sql_query(sql_2, engine)#读取数据