爬虫数据存储（12. 数据库存储）

pymysql常用方法和参数

1. connect方法：连接数据库，根据连接的数据库类型不同，该函数参数也不同，赶回Connection对象
2. cursor方法：获取操作数据库的Cursor对象。cursor方法属于Connection对象
3. execute方法：用于执行SQL语句，该方法属于Cursor对象
4. commit方法：在修改数据库后，需要调用该方法提交对数据库的修改，connmit方法属于Cursor对象
5. rollback方法：如果修改数据库失败，一般需要调用该方法进行回滚，数据库恢复

打开数据库

from pymysql import *
import json
import pymysql
# 打开数据库，给参数
# test为库名
def connectDB():
    db=pymysql.connect(host='localhost', user='root', password='MYSQL1', database='test')
    return db

创建Person表

# 创建person表
def createTable(db):
    # 获取Cursor对象（游标）
    cursor = db.cursor()
    sql = '''CREATE TABLE persons
            (id INT PRIMARY KEY NOT NULL,
            name    TEXT NOT NULL,
            age     INT NOT NULL,
            address     CHAR(50),
            salary      REAL);'''
    try:
        # 执行创建表语句
        cursor.execute(sql)
        # 提交到数据库执行
        db.commit()
        return True
    except:
        # 如果发生错误，回滚
        db.rollback()
    return False

插入数据

# 向person表中插入4条数据
def insertRecords(db):
    cursor = db.cursor()
    try:
        # 首先将以前插入的记录全部删除
        cursor.execute('DELETE FROM persons')
        # 下面的几条语句想person表中插入4条记录
        cursor.execute("INSERT INTO persons (id,name,age,address,salary) \
              VALUES (1, 'Paul', 32, 'California', 20000.00 )");
        cursor.execute("INSERT INTO persons (id,name,age,address,salary) \
              VALUES (2, 'Allen', 25, 'Texas', 15000.00 )");

        cursor.execute("INSERT INTO persons (id,name,age,address,salary) \
              VALUES (3, 'Teddy', 23, 'Norway', 20000.00 )");

        cursor.execute("INSERT INTO persons (id,name,age,address,salary) \
              VALUES (4, 'Mark', 25, 'Rich-Mond ', 65000.00 )");
        # 提交到数据库执行
        db.commit()
        return True
    except Exception as e:
        print(e)
        # 如果发生错误则回滚
        db.rollback()
    return False

查询记录

降序查询表中记录，并且用json格式存储

# 查询person表中的全部记录，并按age字段降序排列
def selectRecords(db):
    cursor=db.cursor()
    sql = 'SELECT name,age,salary FROM persons ORDER BY age DESC'
    cursor.execute(sql)
    # 调用fetchall方法获取全部记录
    results = cursor.fetchall()
    # 输出查询结果
    print(results)
    # 下面的代码将查询结果重新组织成其他形式
    fields = ['name','age','salary']
    records = []
    for row in results:
        records.append(dict(zip(fields,row)))
    return json.dumps(records)

调用上述方法

db = connectDB()

if createTable(db):
    print('成功创建peroson表')
else:
    print('创建person表失败')

if insertRecords(db):
    print('成功插入记录')
else:
    print('插入记录失败')

print(selectRecords(db))
db.close()