pyspider爬链家网入库遇到的坑

最新推荐文章于 2021-05-13 12:57:51 发布

小刘要努力。

最新推荐文章于 2021-05-13 12:57:51 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏：玩转Python爬虫

liurunsen

本文链接：https://blog.youkuaiyun.com/weixin_44510615/article/details/88974150

玩转Python爬虫专栏收录该内容

83 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文主要分享了使用pyspider爬取数据并分别存储到MongoDB和MySQL数据库的过程。在MongoDB入库时，重点介绍了建立连接和定义保存方法；在MySQL入库时，强调了不能使用root账号且需注意权限认证，同时提到了入库SQL语句的正确写法和库名的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天不详细讲代码逻辑，只讲如何入库
mongo的入库

from pyspider.libs.base_handler import *
from lxml import etree
import pymongo

class Handler(BaseHandler):
    crawl_config = {
    }
    def __init__(self):
        connection = pymongo.MongoClient(host='192.168.180.128',port=27017)
        client = connection['lianjia']
        self.db = client['items']

    @every(minutes=24 * 60)
    def on_start(self):
        for i in range(1,101):
            self.crawl('https://dg.lianjia.com/ershoufang/pg{}'.format(i), callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        seletor = etree.HTML(response.text)
        urls  =seletor.xpath('//li[@class ="clear LOGCLICKDATA"]/a/@href')
        for url in urls  :
            self.crawl(url, callback=se

了解本专栏