Python练习 scrapy 爬取汽车之家文章

最新推荐文章于 2025-05-01 08:11:34 发布

原创

最新推荐文章于 2025-05-01 08:11:34 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

本文通过Python的Scrapy框架，详细介绍了如何爬取汽车之家网站上的文章数据，涵盖了爬虫的实现过程和技术要点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

autohome.py #spider文件

# -*- coding: utf-8 -*-
import scrapy
from Autohome.items import AutohomeItem

class AutohomeSpider(scrapy.Spider):
    name = 'autohome'
    allowed_domains = ['https://www.autohome.com.cn/all/']
    start_urls = ['https://www.autohome.com.cn/all/']

    def parse(self, response):
#返回该表达式对应的所有selector list列表
        tit_list = response.xpath("//div[@class='article-wrapper']/ul/li/a")
        for tit in tit_list:
            item = AutohomeItem()
            #extract（）序列化为unicode字符串
            title = tit.xpath("./h3").extract()
            url = tit.xpath("./@href").extract()
            jianjie = tit.xpath("./p").extract()

            item['url'] = url[0]
            item['jianjie'] = jianjie[0]
            item['title'] = title[0]
            #返回提取到的每个item数据，传给管道处理，同时还会回来继续处理下一个数据
            yield item


#网址 //div[@class='article-wrapper']/ul/li/a/@href
#标题 //div[@class='article-wrapper']/ul/li/a/h3
#简