主要代码是在Pipeline中进行编写,上完整代码:
同步插入代码:
# 同步插入
class MysqlPipeline2(object):
"""
同步操作
"""
def __init__(self):
# 建立连接
self.conn = pymysql.connect('localhost', 'root', 'Abcd1234', 'test') # 有中文要存入数据库的话要加charset='utf8'
# 创建游标
self.cursor = self.conn.cursor()
def process_item(self, item, spider):
# sql语句
insert_sql = """
insert into test_zxf(quote,author,tags,born_date,born_location) VALUES(%s,%s,%s,%s,%s)
"""
# 执行插入数据到数据库操作
self