使用sqlalchemy用orm方式写pipeline将scrapy item快速存入 MySQL

最新推荐文章于 2021-01-19 21:52:36 发布

原创

最新推荐文章于 2021-01-19 21:52:36 发布 · 3.3k 阅读

2 ·

CC 4.0 BY-SA版权

本文介绍了一种使用SQLAlchemy ORM代替传统SQL语句的方法，将Scrapy爬取的Item便捷地存入MySQL数据库。通过创建对应的Python类映射数据库表，大大简化了大量字段的存库操作，只需在Scrapy settings中配置pipeline即可实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

传统的使用scrapy爬下来的数据存入mysql,用的是在pipeline里用pymysql存入数据库,

这种方法需要写sql语句,如果item字段数量非常多的情况下,编写起来会造成很大的麻烦.

我使用的python 库:sqlalchemy来编写,用orm的方式,使代码变得非常简洁,按照数据库

表的字段,编写好自己的类,在settings里面设置好pipeline即可.

# -*- coding: utf-8 -*-

# author:lihansen

from sqlalchemy import create_engine,Column,Integer,String,Table,MetaData
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

class ArticleTemplate():
    id = Column(Integer, primary_key=True)#主键自增
    sourceName = Column(String(100))
    sourceUrl = Column( String(100))
    articleUrl = Column( String(100))
    articleCategory = Column( String(100))
    articleFromName = Column( String(100))
    articleFromUrl = Column( String(100))
    articleLabel = Column( String(100))
    title = Column( String(200))
    author = Column( String(100))
    publishTime = Column( String(100))
    articleContent = Column( String(10000))
    imageUrlList = Column( Str