Python 爬虫案例（三）--时间比较

最新推荐文章于 2025-06-11 21:21:34 发布

Agnes_Zhang

最新推荐文章于 2025-06-11 21:21:34 发布

阅读量836

点赞数

CC 4.0 BY-SA版权

分类专栏： python爬虫文章标签： python爬虫 dateutil.parser compare_time

本文链接：https://blog.youkuaiyun.com/Agnes_Zhang/article/details/81982247

本文介绍了一个使用Python爬虫从alamedaca.gov网站抓取未过期标书的案例。通过解析网页，定位title和截止日期元素，利用dateutil.parser进行时间比较，剔除已过期的标书。在完成初步爬取后，对结果进行过滤，最终得到6条有效的标书信息并存储到CSV文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取的网站是：https://alamedaca.gov/business/bids-rfps
可以看到这样的标书，左侧是标书的title，右侧是标书的截止时间，这里我们要做一个时间比较，过滤掉那些已经过期的标书，而且下边有next按钮，我们需要翻页：
这里写图片描述
在终端创建新的project，取名为优快云2,爬虫名字就叫做alamedaca好了:

在PyCharm中打开刚刚创建的优快云2这个project，然后编写items.py：

from scrapy import Item,Field

class Csdn2Item(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = Field()
    dueDate = Field()    #截止日期

然后setting.py中改一下：ROBOTSTXT_OBEY = False
我们看一下目标网站的title在哪里定位，这次我们用css,可以看见每条标书都在一条一条的tr当中，每一页有10条标书，tbody就包含10条tr，title就包含td.views-field.views-field-title中，最后就是截止日期，包含在span.date-display-single当中：