Python 操作数据库之 records

今天要介绍的这个python第三方库非常厉害，完美操作各种数据库。名字叫 records, 在网上很少有这个库的相关资料，但是在开源社区可是很火热的哦。如果这还不能打消你的顾虑，再告诉你一件事：如果你用 python 编程，你一定听过 requests, 这两个库是同一个作者写的。.

records 包参考资料：records PypI 、 Github

一、快速使用

安装

# 安装 python-records 
pip install records 

使用步骤：

1. 连接数据库，返回 db 数据库对象。
2. db 对象执行 sql 语句。

Demo：

import records

# 获取数据库
#pool_recycle=True 解决：MySQL server has gone away
db = records.Database('mysql+pymysql://username:passwd@localhost:port/dbname' )

# 查询
rows = db.query('select * from tablename')

获取数据库的格式是标准的 URL 格式，如果使用的不是 mysql 数据库，只需要换掉数据库类型就可以了：

二、创建表

# 连接数据库
db = records.Database('mysql+pymysql://root:password@localhost:3306/dbname?charset=utf8')

# 创建表
sql_create_table = """CREATE TABLE IF NOT EXISTS test4(
    name varchar(20),
    age int(11)
) DEFAULT CHARSET=utf8 ;"""

db.query(sql_create_table)

三、插入单条数据

records 支持使用 :variable 定义变量，通过参数传入完成动态传值，在需要动态加载数据的时候非常有用：

user = {"name": "webben", "age": 23}
db.query('INSERT INTO test4(name,age) values (:name, :age)', **user)

四、插入多条数据

sql 语句在执行多条数据操作的时候非常不方便，尤其是当值还是变化的时候。 records 提供的 bulk_query 方法能快捷的插入和更新多条数据：

users = [
    {"name":"webben", "age": 6},
    {"name":"webben2", "age": 16},
    {"name":"webben3", "age": 18}
]
db.bulk_query('INSERT INTO test4(name,age) values (:name, :age)', users)

五、数据查询

查询到数据以后，可以通过 all() 方法获取所有的记录，支持 3 种类型。

1. 默认是自己封装的 RecordCollection 对象。
2. 也可以通过 as_dict=True 参数转成字典形式。
3. 可以通过 as_ordereddict=True 转成排序字典形式。

rows = db.query('SELECT * FROM test4;')
# 得到所有数据
print(rows.all())
# 字典形式展示
print(rows.all(as_dict=True))
# 获取第一个
print(rows.first())
# 以字典形式获取第一个
print(rows.first(as_dict=True))
# 排序字典
print(rows.first(as_ordereddict=True))
# 查询唯一的一个
print(rows.one())

六、简洁的数据库事务支持

数据库事务是经常需要使用到的数据库操作，他通常是为了保持数据原子性和一致性。

比如一个转账的数据库操作：

1. 从 webben 账号中读取余额 ；
2. 对 webben 账号余额减去转账 - 400；
3. 从 weibin 账号中把余额读出来；
4. 对 weibin 账号做加法操作（+400）。

我们必须保证这 4 步同时执行成功，要么同时都不成功。如果前 2 步已经执行成功，但是到第 3 步发生了错误导致后面都不能执行，就会出现问题：webben的账号被扣了钱，但是 weibin的账号却没有加钱。

通过数据库事务就能避免这种情况。

with db.transaction() as tx:
    user = {"name": "webben5", "age": 20}
    tx.query('INSERT INTO test4(name,age) values (:name, :age)', **user)
    # 下面是错误的 sql 语句，有错误，则上面的 sql 语句不会成功执行。
    tx.query('webben')

七、数据导出为 json

数据库数据得到以后还需要进一步的操作，比如保存起来。

rows = db.query('SELECT * FROM test4;')
json_rows = rows.export('webben')
print(json_rows)

八、数据导出到 Excel 文件

最常用的是如果需要各种各样的报表，需要放到 excel 文件中保存起来。

rows = db.query('SELECT * FROM test4;')
with open('users.xlsx', 'wb') as f:
    f.write(rows.export('xlsx'))

导出的数据效果：

九、总结

• records 支持多种不同的数据库；
• records 的方法非常简单和统一，不像 pymysql 还需要记住如游标对象这样的底层信息；
• 自动实现上下文管理器，不需要关注链接状态；
• 支持 :variable 方言，以安全的形式进行动态参数传递，防止 sql 语句不规范导致的安全问题；
• 支持数据库事务，保持数据的原子性和一致性；
• 轻松导出为 json, yaml, xls, xlsx, pandas, html 等多种数据格式；
• 源码非常简单，你一定看得懂。

简单使用

db.py

# db.py
import os, sys
import records

class Db:
    connect_item = {}
    conf = {
        'default'   : 'mysql+pymysql://root:password@localhost:3306/dbname?charset=utf8',
        'test'      : 'mysql+pymysql://root:password@localhost:3306/dbname?charset=utf8',
    }
    def connect( conn_str = 'default'):
        if not conn_str in list( Db.connect_item.keys()):
            if conn_str in list( Db.conf.keys()):
                Db.connect_item[ conn_str] =  records.Database( Db.conf[ conn_str])
                print('connect...')
            else:
                sys.exit()
        return Db.connect_item[ conn_str]

run.py

# run.py
from db import Db
query = Db.connect().query('select * from test4')
items = query.all()
print( items)
query = Db.connect().query('select * from test4 where id=3')
item = query.one()
print( item)