Scrapy 动态生成初始 URL

最新推荐文章于 2023-01-31 07:47:29 发布

風の唄を聴け

最新推荐文章于 2023-01-31 07:47:29 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： scrapy 动态初始 URL

本文链接：https://blog.youkuaiyun.com/weixin_42902669/article/details/90400363

本文介绍了如何在Scrapy爬虫项目中动态生成初始URL，以应对网站URL变化频繁的情况。通过自定义中间件或者设置start_requests方法，我们可以根据特定规则或API获取实时的URL列表，从而提高爬虫的灵活性和适应性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import scrapy, json, requests
from bs4 import BeautifulSoup
import pandas as pd


item = WasdeItem()

class WasdeSpider(scrapy.Spider):
    name = 'WASDE'
    allowed_domains = ['usda.library.cornell.edu']

    # 动态生成初始 URL
    def start_requests(self):
        # start_urls = []
        for i in range(1,12):
            url = 'https://usda.library.cornell.edu/concern/publications/3t945q76s?locale=en&page={page}#release-items'.format(page=i)
            yield scrapy.Request(url=url, callback=self.parse)

    # 解析每个 start_requests 中的初始 URL
    def parse(self, response):
        html = response.body
        soup = BeautifulSoup(html, 'lxml')
        trs = soup.select('#release-items > tr')
        for tr in trs:
            a_s = tr.select('a.file_download')
            for a in a_s:
                release_date = a.get('data-release-date').strip()
                release_date = pd.to_datetime(release_date).strftime('%Y%m%d')

                WasdeSpider.released_date_ls