Python Scrapy 第一爬，爬取某平台热线信息

原创

于 2019-08-01 14:41:53 发布 · 243 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy

本文介绍了如何在Windows环境下安装并使用Scrapy进行网络爬虫的实践，详细步骤包括安装Scrapy、创建爬虫项目、定义Item、设置User-Agent和Pipeline以及处理爬取的数据。通过爬取特定平台的热线信息，展示了如何抓取和处理网页内容，如标题、日期和部门等。最后，将爬取结果导入日志文件，完成整个爬虫流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先是安装scrapy， windows下安装略坑，直接pip install scrapy会报错，因为scrapy基于twisted，需要我们手动安装twisted，见我的上一篇博客好了~~~

开始建立爬虫工程：scrapy startproject yangguang2
再进入爬虫：cd yangguang2
生成爬虫：scrapy genspider ygspider url

记下来是主程序：

# -*- coding: utf-8 -*-
import scrapy
from yangguang2.items import Yangguang2Item


class YgspiderSpider(scrapy.Spider):  # 主页面的处理
    name = 'ygspider'
    allowed_domains = ['wz.sun0769.com']
    start_urls = ['http://d.wz.sun0769.com/index.php/question/huiyin']

    def parse(self, response):
        tr_list = response.xpath(
            '//div[@class="newsHead clearfix"]/table[2]/tr')
        for tr in tr_list:
            item = Yangguang2Item()
            item['title'] = tr.xpath(
                './td[3]/a[@class="news14"]/text()').extract_first()
            item['href'] = tr.xpath(
                './td[3]/a[@class="news14