pandas读写mysql_【S01E04】SQLAlchemy+pandas读写数据库(mysql示例)

I. sqlalchemy创建mysql连接

II. pd.read_sql()

III. df.to_sql()

I. sqlalchemy创建mysql连接

create_engine(*args, **kwargs)

标准调用方式是将URL作为第一个位置参数

形如``dialect[+driver]://user:password@host/dbname[?key=value..]``

dialect 数据库类型, 如'mysql', 'oracle'

driver DBAPI的名字, 如'mysqlconnector', 'pymysql'

(安装第一个库: pip install mysql-connector-python)

user 用户名, 一般为root

password 密码

host IP, 本地连接的话为'localhost'

dbname 要连接的数据库的名字

举个例子:

II. pd.read_sql()

这个方法其实是read_sql_query和read_sql_table的封装，read_sql()根据输入选择不同的方法执行。

重点参数

sql 表名或查询语句

con 数据库连接对象, 对于sqlalchemy来说是Engine对象

一般参数

index_col 用作索引的一列或多列

字符串或字符串的列表, 可选, 默认为None.

coerce_float 尝试把非字符串, 非数值的对象(如decimal.Decimal)转换为浮点数

parse_dates list或dict, 默认为None

- 要解析为日期的列名列表

- {column_name: format string}格式的字典, 其中format string是在解析

字符串时间时兼容的strftime, 或者是在解析整数时间戳时,

(D, s, ns, ms, us)的其中之一

- {column_name: arg dict}格式的字典, 其中arg dict对应到函数

`pandas.to_datetime`的关键字参数

columns 从SQL表中选取的列名的列表

列表, 默认为None

chunksize 如果指定, 则返回一个迭代器, 'chunksize'是每个块(chunk)中包含的行数,

整型, 默认为None

需要注意的是, 时间戳只会被转化为UTC, 而不是我们当地的日期和时间,

所以我们需要手动加上8小时

上面的例子是读取本地数据库, 下面再写一个远程读取:

需要注意的是, 这里时间戳只会被转化为UTC, 而不是我们当地的日期和时间(即UTC+8), 所以我们需要手动加上8小时

III. df.to_sql()

将存储在DataFrame中的记录写入SQL数据库。支持所有SQLAlchemy支持的数据库, 可以新创建(create)一个表, 也可以附加(append), 或者覆写(overwrite)原有的表

to_sql(self, name, con, schema=None, if_exists='fail', index=True, index_label=None,

chunksize=None, dtype=None, method=None)

重点参数

name SQL表的表名, 字符串

con sqlalchemy.engine.Engine 或 sqlite3.Connection

使用SQLAlchemy可以使用该库支持的任何数据库

schema 数据库的名字, 可选, 默认为None, 如果不填, 将使用默认的schema

一般参数

if_exists: 如果表已经存在, 如何操作, {'fail', 'replace', 'append'}中的一种, 默认为'fail'

* fail: 引发ValueError

* replace: 在插入新值之前删除表

* append: 将新值插入到现有表

index 将DataFrame的index索引写为一列, 使用'index_label'作为表中的列名.

bool型, 默认为True

index_label 索引列的列标签. 字符串或序列, 默认为None

* 如果index_label为None, 同时index为True, 那么索引名将被使用(index names)

* 如果DataFrame使用MultiIndex, 则应该给出一个序列

chunksize 行将按指定的大小分批次写入. 整型, 可选, 默认为None

默认一次性写入所有行

dtype 指定列的数据类型. dict类型, 可选, 默认为None

字典的键为columns names, 字典的值为SQLAlchemy types或

strings for the sqlite3 legacy mode

method 控制SQL插入子句的使用, {None, 'multi', callable}中的一个, 默认为None

* None: 使用标准的SQL'INSERT'子句(每行一个)

* 'multi': 在单个'INSERT'子句内传递多个值

* 带'(pd_table, conn, keys, data_iter)'签名的可调用对象

还是举例说明