Python爬虫入门实例九之Scrapy框架爬取股票信息(亲测有效)

写在前面

  这个实例我差不多用了一周的时间，终于把所有bug都抓完了，不过还是有一点点遗憾，就是正则表达式部分写的不够完美(本人目前智力、精力实在有限)，如果各位大佬有更好的欢迎评论指教。下面我将把我这几天踩的坑，给各位小伙伴们介绍一下，希望各位能够成功避坑，同时也把我的不足之处给大家说明。好了，话不多说，进入正题。

一、准备工作

  这一部分主要就是选取网站和对网站源代码的查看及观察，具体步骤我在之前的文章写过，有需要的小伙伴可以参考。

传送门: https://blog.youkuaiyun.com/weixin_44578172/article/details/109391135

本例选取的是股城网: https://hq.gucheng.com/gpdmylb.html

二、具体步骤

1.建立工程和Spider模板

  首先win+R 输入cmd进入command模式

scrapy startproject 项目名(GuchengStocks)
cd 项目名(GuchengStocks)
scrapy genspider 爬虫名(stocks) 根链接目录(hq.gucheng.com)

2.编写Spider

  这一部分是关键，要编写获取页面和解析页面的代码

import scrapy
import re

class StocksSpider(scrapy.Spider):
    name = "stocks"
    start_urls = ['https://hq.gucheng.com/gpdmylb.html']

    def parse(self, response):
        for href in response.css('a::attr(href)').extract():
            try:
                stock = re.findall(r'[S][HZ]\d{6}', href)[0]