从8月27日起到现在,已经实习工作一个月了,这个月学到了很多技术知识,特此记录。
-----------------------------------------------------------------------------------
1、连接语句
在pipeline.py中初始化类时连接数据库,相关变量在setting中已设置好
def __init__(self):
self.conn = pymysql.connect(
host=settings.MYSQL_HOST,
port=settings.MYSQL_PORT,
db=settings.MYSQL_DBNAME,
user=settings.MYSQL_USER,
passwd=settings.MYSQL_PASSWD,
charset='utf8',
use_unicode=True
)
2、创建游标及item记录变量
self.cursor = self.conn.cursor()
self.get_item = 0
同样是在类初始化时运行
3、查询语句
sql1 = "select count(1) from yourtable where yourfield='?'"
sql2 = "select * from yourtable where yourfield='?' limit yourlimitnumber"
self.cursor.execute(sql1)
# 取出执行结果的第一条数据
rows = cursor.fechone()
其中count(1)是虚构的一个列,用来保存查询到的数量
4、插入语句
self.conn.execute(
"""insert into yourtable (field1, field2, field3) values (%s, %s, %s)""", (data1, data2, data3)
)
self.conn.commit()
# 每插入一次计数+1,统计插入的item数
self.get_item = self.get_item + 1